Wie kann ich eine 4GB große CSV-Datei lesen?

Hallo,

ich habe eine CSV Datei mit 23 Millionen Zeilen und weiß nicht wie ich alle Zeilen anzeigen kann. Brauche ich dafür ein anderes Programm und wenn ja welches?

6 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

geri3d

Nutzer, der sehr aktiv auf gutefrage ist

im Thema Microsoft Excel

05.10.2020, 14:18

Möglicherweise geht es mit Notepad++ da kannst du den Bereich kopieren in eine kleinere .cvs

Sonst müsstest du sie in eine Datenbank importieren.

Woher ich das weiß:eigene Erfahrung

David599

Fragesteller

05.10.2020, 14:18

Das Problem dabei ist das ich die Zeilen nicht sehe

geri3d

05.10.2020, 14:19

@David599

Notepad++ blendet auch Zeilennummern ein ;-)

Ceeesy759

05.10.2020, 14:14

Was willst du damit machen? Wenn du es weiterverarbeiten willst, würde ich es in eine Datenbank speichern.

Oder wenn du nur visualisieren willst, Microsoft Power BI 64-bit.

David599

Fragesteller

05.10.2020, 14:14

Ich möchte die 10 Millionste bis 11 Millionste Zeile ansehen, um zu sehen, was da drinnen steht

GandalfAwA

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Computer

05.10.2020, 14:17

Ich empfehle Dir eine Datenbank dafür zu nehmen. Microsoft Access reicht aber nicht, die kann max. 2GB verarbeiten.

Ich fürchte da muss eine professionelle Datenbank her wie MySQL: https://stackoverrun.com/de/q/978152

Anleitung: https://www.segal-online.de/mysql-datenbank-server-auf-windows-installieren/

KarlRanseierIII

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Computer

05.10.2020, 14:27

Ein entsprechender Texteditor (64-Bit) sollte das hinbekommen.

Sonst verarbeite die Datei eben vor. Wenn ich mir die anderen Rückantworten anschaue, würde ich tail and head verwenden.

olsen

05.10.2020, 14:11

OpenOffice

Woher ich das weiß:Berufserfahrung – Techniker. Langjährige Erfahrung mit Computern & Technik

Ähnliche Fragen

Große CSV-Datei splitten

Ich habe eine ziemlich große CSV-Datei (Trennzeichen Semikolon) von beinahe 1GB Größe und ungefähr 3,5 Millionen Zeilen. Aufgrund der Größe der Datei kann ich Sie mit keinem Editor öffnen.

Ich würde diese Datei gerne in ca. 100.000 Zeilen große Happen splitten. Wie stelle ich das am besten an? Wichtig ist, dass dabei Umlaute etc. nicht verloren gehen. FXFisherman's CSV Splitter habe ich bereits ausprobiert aber der kann leider keine Umlaute.

Vielen Dank für eure Hilfe...

...zur Frage

Wie .csv Datei zu .asc wandeln?

Ich möchte in mein CAD Programm eine Messpunktdatei einlesen.

Ich habe eine .csv Datei mit Messpunkten erstellt, in Excel.

Das CAD erwartet jedoch eine Punktdatei mit *.asc Endung.

Wie kann ich die .csv in dieses Format wandeln?

Googeln war leider ohne brauchbares Ergebnis.

...zur Frage

Homepage: Datenabgleich mit CSV-Dateien?

Gerne würde ich Daten(sätze) die immer wieder aktualisiert werden müssen, schnell und einfach abgleichen.

Ein Gedanke wäre, Daten einer CSV-Datei in Excel anzupassen und diese nach dem Speichern anschließend mit einem FTP-Programm zu synchronisieren (oder via Excel?) bzw. automatisiert synchronisieren zu lassen.

Die Datensätze sollten quasi auch von überall, via Laptop, Tablet, Smartphone von mir bearbeitet und anschließend synchronisiert werden können.

Wäre das möglich oder gibt es da vielleicht noch eine bessere/andere Methode?

...zur Frage

Wie kann man eine Excel Datei mit 23 Millionen Zeilen anschauen, es zeigt nur 1 million zeilen?

...zur Frage

CSV lesen und summieren in JAVA?

HI, ich kann ganz gut Python und muss nun aber ein kleines Programm in JAVA schreiben das ich nie gelernt habem. Soll nur eine einfache CSV Datei lesen und die Zahl in der 2. Spalte aufsummieren. Keine Hausaufgabe, ich brauche das auf Arbeit und hier kann ich kein Python installieren. Aber das ist SOOOOO umständlich, in Python mache ich das in 5 Zeilen und in Java braucht man 1000 BufferedWriterStreamInputDings nur um eine Datei zu öffnen...hat jemand Tipps oder ein Grundgerüst dafür das ich dann anpassen kann. Danke.

...zur Frage

Java Csv Dateien lesen und ausgeben?

Hallo, ich habe folgendes Problem:

Ich möchte in einer Klasse eine Methode schreiben, die mithilfe eines Parameters bestimmte Zeilen wieder teilweise Ausgibt:

Beispiel: student.csv hat die Spalten Name;matrikelnummer;fachsemester. Mein Parameter wäre in diesem Beispiel die Matrikelnummer. Meine Methode soll mir jetzt in einem System.out den Namen und die Matrikelnummer ausgeben, die eben zu dieser Matrikelnummer gehört. Die ganzen Csv Dateien haben wir gegeben und einen CSV File Reader haben wir auch, auch einen Importer. Ich bin jedoch am verzweifeln.

Wenn sich irgendwer auskennt und mir einen Ansatz geben könnte wäre ich wirklich Dankbar! Ich bin einfach komplett verwirrt..

Vielen Dank!

Ifrit

...zur Frage

Excel csv Tabstopp getrennt wie mache ich es bei libre Office?

bis vor kurzen hab ich mit Outlook Excel gearbeitet und für ein Programm musste ich die Datei fürs einlesen wie folgt speichern Csv Tabstopp getrennt wie stelle ich das bei Libre Office ein

vielen Dank für die Hilfe

...zur Frage

Batch: CSV per CSV durchsuchen geht nicht?

Hallo Leute Ich habe folgendes Problem

set "quellordner=K:CSV"
set "zielordner=K:\CSV\ende"
pushd "%quellordner%"
for /f "delims=" %%i in ('dir /b /a-d fertig.csv') do findstr /v "4056204302446" "%%i">"%zielordner%\%%i"
popd

Das Batch Script durchsucht die CSV und speichert alle Zeilen in denen nicht 4056204302446 vorkommt.

Nun soll es aber umgedreht sein! In der Datei sollen nachher nur noch die Zeilen stehen die 4056204302446 enthalten! Den Wert 4056204302446 würde ich dabei gern in einer weiteren CSV speichern können (also eine durchsuchen csv).

Eigentlich soll er die fertig.csv durchsuchen mit der werte.csv und immer wenn der Wert vorkommt die Zeile in eine neue Datei schreiben.

...zur Frage

Excel: Text in bestimmter Sprache entfernen?

Moin zusammen,

ich erhielt den Auftrag, von einer Tabelle mit Klimadaten, diese Tabelle als CSV zu exportieren, und das die Länder nur in der deutschen Sprache angezeigt werden. Es ist dumm, da alle Sprachen in einer Spalte sind. Ich möchte also, dass es wie die drei letzten Zeilen des unteren Bildes ist, dass die rot durchgestrichenen Namen gelöscht werden. Die Tabelle hat übrigens mehrere hundert Zeilen.

Ich will also, dass es die englischen Ländernamen löscht, sowie das \ Zeichen. Wie muss ich vorgehen?

Danke für das lesen der Frage und einen schönen Abend

...zur Frage

Java: In welchem Format Datei speichern und wie?

Hallo,

Ich schreibe ein Programm zur Studentenverwaltung. Es soll CSV-Liste eingelesen werden. In der liste sind die Daten der Studenten und zu jedem Student ist der Pfad des Bildes zugeordnet. Nun soll die Datei gespeichert werden. Das Programm kann die eingelesene Liste wieder inkl. Bild-Pfade als CSV-Datei speichern. Das Problem ist das die Bilder gelöscht werden können und die Bild-Pfade werden nicht mehr stimmen. Ich will nun erreichen, dass das Programm CSV-Datei und die dazu gehörige Bilder in einem Ordner Packt (natürlich mit Bild-Pfaden von diesem Ordner).

Wie kann man es erreichen?

...zur Frage

Java: Wie kann ich eine Matrix aus einer CSV-Datei lesen und in meiner Matrix speichern?

Hallo!

Ich bin gerade dabei, eine Matrix aus einer CSV-Datei auszulesen. Dies habe ich schon geschafft.

Das Ausgeben auf der Konsole funktioniert, aber wie kann ich das in meine Matrix speichern?

Meine Matrix ist eine 8x8 Matrix.

Das Speichern der CSV-Werte in die Matrix sollte so aussehen:

Matrix[0][0] = Erster Wert von der CSV-Datei
Matrix[0][1] = Zweiter Wert von der CSV-Datei
...
Matrix[7][7] = Letzter Wert von der CSV-Datei

Wie funktioniert das?

Danke!

...zur Frage

Das Ende einer Zeile in einer CSV-Datei mit mehreren Semikolon markieren?

Ich nutze Excel 2019, wobei ich eine sehr große Tabelle in csv speichere. Problem Hierbei ist, dass innerhalb einer Zeile die Spalten durch ein Semikolon getrennt werden, jedoch eine neue Zeile durch nichts markiert wird. Somit wird es schwer diese mit Java auszulesen... Hat irgendjemand eine Möglichkeit? Dahinter schreiben in der Excel Datei bringt nix, müsste halt in der csv Datei hinter jede Zeile die Semikolons hinschreiben, damit java weis es beginnt ne neue zeile

Sieht so aus:

Land 1; Stadt 1;Bevölkerung 1(hier will ich vier Semikolons)

Land 2; Stadt 2;Bevölkerung 2(hier sollen vier Semikolons stehen)

...zur Frage

Neue CSV Datei in python anlegen?

Ich möchte gerne bestimmte Daten in einer CSV Datei abspeichern.

Ich habe mir aber überlegt, dass Ich gerne jedes mal, wenn das Programm startet, eine neue Datei anlegen will.

Wie schaffe Ich es, dass Ich den Dateien z.B. eine fortlaufende Nummer mit in den Namen gebe, damit keine Daten verloren gehen?

...zur Frage

Wo finde ich ein Windows-Programm welches große Textdateien nach Zeilen splitten kann?

Ich habe eine sehr große Textdatei von etwa 30MB. Diese Datei soll ich jeweils Dateien mit 1000 Zeilen unterteilt werden. Unter Linux gibt es dafür den Befehl split. Genau sowas suche ich für Windows. Wer weiß etwas.

Datei001.txt - Zeilen 1-1000
Datei002.txt - Zeilen 1001-2000
Datei003.txt - Zeilen 2001-3000
etc.

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen