Excel (weit) jenseits der 1 Mio. Zeilen

[andkur]

Hallo zusammen,

ich habe ein Problem mit einer CSV-Datei, die mehr als 3 Millionen Zeilen umfasst. Mit Power Pivot werden mir die Daten zwar angezeigt, jedoch fehlt die Möglichkeit zur Bearbeitung. Habe ich etwas übersehen oder gibt es tatsächlich keine Edit Optionen? Da die CSV systemisch ausgegeben wird, habe ich im Vorfeld auch keine Möglichkeit die nicht relevanten Daten zu entfernen. 

Meine Idee wäre nun ein Makro, das folgendermaßen funktioniert:

1. Daten werden Zeile für Zeile in ein Tabellenblatt geschrieben bis die letztmögliche Zeile erreicht ist.
   
2. Ein neues Tabellenblatt wird geöffnet, in welches die Daten fortlaufend erneut Zeile für Zeile eingefügt werden wird bis erneut die letztmögliche Zeile erreicht ist.
   
3. Das gleiche wie in 2. bis die letzte Zeile des Datensatzes eingefügt wurde und so alle Daten auf einzelne Tabellenblätter verteilt sind.
   
4. Zeilen mit überflüssigen Daten werden aus den einzelnen Tabellenblättern entfernt.
   
5. Die verbleibenden Daten werden in ein finales Tabellenblatt kopiert. Die Begrenzung auf eine Millionen Zeilen sollte ausreichen, da die jetzt noch vorhandenen Daten auf ein Tabellenblatt passen sollten.
   

So weit die Theorie. Ist meine Idee überhaupt umsetzbar bzw. hat jemand von euch eine bessere Lösung hierzu. Ich bedanke mich schon vielmals im Voraus für Antworten und Denkanstöße.
 
Beste Grüße
Andreas

[LCohen]

Ich tippe auf Power Query. Vermutlich ist hier im Forum einer in der Lage, jeweils genau 1 Mio Datensätze in ein Blatt zu schreiben und dann fortzufahren.

Ansonsten kann man die Daten auch mit den Dateioperationen von BASIC (VBA) bearbeiten/selektiv laden, ohne die Datei zu laden.

[Fennek]

Hallo,

falls PQ mit den Daten Probleme haben sollte, es kommt auch Powershell infrage. Insbesondere wenn viele Datensätze aussortiert werden (weniger als 1 Mio Datensätze übrig bleiben), könnte Powershell ein sinnvoller Ansatz sein.

mfg

[LCohen]

Möglicherweise geht auch das einfache Pivot.

Denn das kann auch externe Daten lesen.

Wenn man dann ein Feld selektieren kann, welches niemals mehr als 1 Mio Datensätze pro Ausprägung ergibt, kann man alle diese Feldausprägungen durchgehen und in separaten Excel-Blättern sammeln. Letztere Vorgänge sammelt Pivot von selbst (als Abfrage-Ergebnis-Tabellen).

[shift-del]

Moin

Wie kommen die Daten in Power Pivot?
Normalerweise wird die CSV mit Power Query importiert und ggf. automatisiert bearbeitet und dann in ein Tabellenblatt, eine PivotTable und/oder in das Datenmodell (Power Pivot) geladen.
Das Datenmodell benötigt man nur wenn man Tabellen-Beziehungen und/oder DAX-Measures erstellen möchte und daraus Pivot-Tabellen erstellt.