Dieses Forum nutzt Cookies
Dieses Forum verwendet Cookies, um deine Login-Informationen zu speichern, wenn du registriert bist, und deinen letzten Besuch, wenn du es nicht bist. Cookies sind kleine Textdokumente, die auf deinem Computer gespeichert werden. Die von diesem Forum gesetzten Cookies werden nur auf dieser Website verwendet und stellen kein Sicherheitsrisiko dar. Cookies aus diesem Forum speichern auch die spezifischen Themen, die du gelesen hast und wann du zum letzten Mal gelesen hast. Bitte bestätige, ob du diese Cookies akzeptierst oder ablehnst.

Ein Cookie wird in deinem Browser unabhängig von der Wahl gespeichert, um zu verhindern, dass dir diese Frage erneut gestellt wird. Du kannst deine Cookie-Einstellungen jederzeit über den Link in der Fußzeile ändern.

Excel (weit) jenseits der 1 Mio. Zeilen
#1
Hallo zusammen,

ich habe ein Problem mit einer CSV-Datei, die mehr als 3 Millionen Zeilen umfasst. Mit Power Pivot werden mir die Daten zwar angezeigt, jedoch fehlt die Möglichkeit zur Bearbeitung. Habe ich etwas übersehen oder gibt es tatsächlich keine Edit Optionen? Da die CSV systemisch ausgegeben wird, habe ich im Vorfeld auch keine Möglichkeit die nicht relevanten Daten zu entfernen. 

Meine Idee wäre nun ein Makro, das folgendermaßen funktioniert:
  1. Daten werden Zeile für Zeile in ein Tabellenblatt geschrieben bis die letztmögliche Zeile erreicht ist.
  2. Ein neues Tabellenblatt wird geöffnet, in welches die Daten fortlaufend erneut Zeile für Zeile eingefügt werden wird bis erneut die letztmögliche Zeile erreicht ist.
  3. Das gleiche wie in 2. bis die letzte Zeile des Datensatzes eingefügt wurde und so alle Daten auf einzelne Tabellenblätter verteilt sind.
  4. Zeilen mit überflüssigen Daten werden aus den einzelnen Tabellenblättern entfernt.
  5. Die verbleibenden Daten werden in ein finales Tabellenblatt kopiert. Die Begrenzung auf eine Millionen Zeilen sollte ausreichen, da die jetzt noch vorhandenen Daten auf ein Tabellenblatt passen sollten.
So weit die Theorie. Ist meine Idee überhaupt umsetzbar bzw. hat jemand von euch eine bessere Lösung hierzu. Ich bedanke mich schon vielmals im Voraus für Antworten und Denkanstöße.
 
Beste Grüße
Andreas
Antwortento top
#2
Ich tippe auf Power Query. Vermutlich ist hier im Forum einer in der Lage, jeweils genau 1 Mio Datensätze in ein Blatt zu schreiben und dann fortzufahren.

Ansonsten kann man die Daten auch mit den Dateioperationen von BASIC (VBA) bearbeiten/selektiv laden, ohne die Datei zu laden.
Antwortento top
#3
Hallo,

falls PQ mit den Daten Probleme haben sollte, es kommt auch Powershell infrage. Insbesondere wenn viele Datensätze aussortiert werden (weniger als 1 Mio Datensätze übrig bleiben), könnte Powershell ein sinnvoller Ansatz sein.

mfg
Antwortento top
#4
Möglicherweise geht auch das einfache Pivot.

Denn das kann auch externe Daten lesen.

Wenn man dann ein Feld selektieren kann, welches niemals mehr als 1 Mio Datensätze pro Ausprägung ergibt, kann man alle diese Feldausprägungen durchgehen und in separaten Excel-Blättern sammeln. Letztere Vorgänge sammelt Pivot von selbst (als Abfrage-Ergebnis-Tabellen).
Antwortento top
#5
Moin

Wie kommen die Daten in Power Pivot?
Normalerweise wird die CSV mit Power Query importiert und ggf. automatisiert bearbeitet und dann in ein Tabellenblatt, eine PivotTable und/oder in das Datenmodell (Power Pivot) geladen.
Das Datenmodell benötigt man nur wenn man Tabellen-Beziehungen und/oder DAX-Measures erstellen möchte und daraus Pivot-Tabellen erstellt.
Wir sehen uns!
... shift-del
Hinweise zu meiner Hilfe in Foren
Excel Super-Funktionen: VERWEIS(), INDEX(), WAHL()
Antwortento top


Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste