Excel Programmfehler doppelte finden

[GMG-CC]

Na dann liefere doch mal ...
(Ich habe es ja bereits getan).

[Willie017]

Zuerst sollte der TE Bedarf anmelden, VBA scheint für ihn ja kein Problem und die paar Zeilen kann er ja jetzt evtl. selbst schreiben ...

[KlausiHB]

Hallo zusammen!

Ich bin nun die ersten Schritte mit "Daten Abrufen und Tranformieren" gegangen und habe einige Tutorials angesehen.
Da kann man ja wirklich tolle Sachen machen. Das Vorgehen ist den SQL-Abfragen sehr ähnlich von der Art der Funktion.

Das Problem mit den Doppelten ist allerdings nur ein Teil meiner Aufgabe.
Es müssen Listen verglichen werden, und die Ergebnisse sollen auch GESPEICHERT werden.
Kann man damit auch Werte in zurückschreiben, ohne sie in die Excelmappe zu laden?

Mein Plan wäre dann mittelfristig die Daten in Access-Tabellen zu speichern, da hier nicht die Zeilenbegrenzung auf 1.048.576 besteht.
In der Zwischenzeit könnte man einen Ordner mit mehreren Mappen in einem Schritt verarbeiten kann. In einem Beispiel habe ich das gesehen. Das wäre ein möglicher Workaround. Ich würde die Tabellen dann einfach aufteilen.

Da Excel in den Abfragen alle Zeilen verarbeiten soll: 
Geht das dann auch, oder habe ich dann wieder die Excelbeschränkung mit den Zeilen?
In fast allen Beispielen laden die die Ergebnisse IN Excel. Da werden die aber nicht reinpassen.

Viele Grüße

KlausiHB

[GMG-CC]

Moin,
wenn du mit 

und die Ergebnisse sollen auch GESPEICHERT werden.

meinst, dass die Quelldaten verändert werden: Nein, das geht imho nicht. Aber du kannst von Access aus natürlich jede der einzelnen generierten Tabellen (Abfragen) importieren, dagegen spricht nichts.

[KlausiHB]

Hi Günther,

leider spricht doch etwas dagegen, nämlich, wenn ich die 1,4 Mio Zeilen überschreite
Letztendlich muss man das wahrscheinlich mal komplett in Access machen, dafür fehlt  momentan aber die Zeit.

Kann man die M-Queries nach Access exportieren, damit man die Abfragen dort nicht neu basteln muss?


LG

KlausiHB

[GMG-CC]

Moin,
von Access importieren ist leichter ... 

[KlausiHB]

Hmm.. 

Ich habe mich wohl nicht klar genug ausgedrückt und versuche es nochmal:

Ist es möglich die Abfrage selbst aus Daten Abrufen und Transformieren in eine Access-Abfrage oder SQL zu konvertieren?
Also nicht die Daten (Das Ergebnis der Abfrage).

Sonst müsste man ja alles nochmal neu basteln in Access.

Oder meintest Du das auch?
Wenn ich die Abfragen in Access importieren kann, dann muss ich sie doch erst aus Excel exportieren, oder?
Oder was meintest Du mit "von Access importieren ist leichter"?

Besten Gruß

KlausiHB

[GMG-CC]

Also, du erstellst in Excel per Power Query eine Abfrage. Das Ergebnis sei die Tabelle qry_Ergebnis.
Von Access aus kannst du via Externe Daten|Neue Datenquelle auf die Excel-Mappe mit allen Arbeitsblättern und Tabellen zugreifen.
Und du kannst auswählen, ob die dort stehenden Daten (beim ersten Import) in eine neue Tabelle geschrieben werden oder (anschließend) in eine existierende Tabelle geschrieben werden sollen.

Also: Access holt sich (importiert) die existierende qry_Ergebnis aus der Excel-Mappe, Excel exportiert da nichts sondern bietet die Daten nur an. So hatte ich das gemeint.
Auf der anderen Seite kannst du natürlich von vornherein Access nehmen und Excel außen vor lassen. Der Vorteil bei der Power Query-Version ist, dass Access-Unkundige die Vorarbeit in Excel leisten können und du dich in Access austobst, beginnend mit dem Import der Daten.

[KlausiHB]

Hi Günther,

tja, dann komm ich da nicht weiter, da die Daten nicht in Excel passen.
Die Tabelle qry_Ergebnis klappt noch mit Übungsdaten. Ich befürchte aber, dass am Ende mehr als 1,5 Mio Zeilen rauskommen.
Zur Zeit müssen da schon immer Daten rausgelöscht werden, damit es klappt.


Wenn nur die Quelldaten so viele sind, könnte es noch gehen, oder die Query klappt dann auch schon nicht, weil zu viele Datensätze im Spiel sind.
Das wird die spannende Frage.
Die Ergebnisse der Query könnte ich aufteilen oder Teil-queries machen, die dann kleiner sind.


Ich dachte ich kann von Excel aus steuern, die Daten aber in Access halten und zurückschreiben.
Wenn man dann noch die Abfrage-Syntax (nicht die Ergenbnisse der Abfrage) aus Excel Power Query später in Access nutzen könnte, dann wäre in schrittweiser Umstieg möglich gewesen. 
Sonst muss man da wieder von vorn anfangen mit Abfragen bauen.

Gruß

Klaus

[GMG-CC]

Klaus,
es sieht danach aus, als wenn du bei Access oder SQLServer landest ...
Aber noch einmal zur Klarstellung: Du kannst in Power Query (also in die Abfrage) erheblich mehr als 1 Mio Datensätze (Zeilen) importieren, im Endeffekt dürfen aber (nach Filter-Vorgängen) nur max. ~1 Mio Datensätze übrig bleiben. Insgesamt dürfte die Performance in einer echten DB erheblich besser sein, aber das weißt du gewiss auch.