15 Millionen Datenbank erstellen wie?

Hi Leute,
ich habe CSV. Daten mit ca 15 Millionen Zeilen. 3-4 Spalten.

Diese Datein in Excell zu öffnen oder zu bearbeiten ist nahezu unmöglich.
Ich brauche eine online software Lösung, wo ich meine Daten hochladen kann und dann meine Daten Filtern kann, wie ich es möchte. Exportieren kann. Etc etc.

Es sollte kostengünstig sein und die Seite sollte nicht hängen oder ähnliches, da ich schnell Zugriff auf meine Daten brauche.

3 Antworten

Palladin007

03.03.2024, 01:00

Eine "normale" Desktop-Software kenne ich nicht.

Aber Du kannst dir einen SQL Server Express, das ist kostenlos und sollte für deinen Anwendungsfall locker und mit links ausreichen. Zusätzlich installierst Du noch das SQL Management Studio und kannst dort deine CSV in eine Datenbank importieren, das bietet eine extra Funktion dafür.

Mehr dazu:

https://blog.skyvia.com/3-easy-ways-to-import-csv-file-to-sql-server/

Nimm als Destination aber ".Net Framework Data Provider for SqlServer" mit dem ConnectionString "Data Source=localhost;Integrated Security=True;Initial Catalog=MyCoolTableName".
Den Rest musst Du natürlich so konfigurieren wie Du es haben willst.

Klick dich da durch und Du hast deine CSV-Daten in einer Datenbank. Dann kannst Du entweder mit SQL alles tun, was Du willst, oder Du nutzt eines der vielen Datenbank-Tools.

Woher ich das weiß:Berufserfahrung – C#.NET Senior Softwareentwickler

evermore90

03.03.2024, 00:36

R studio. Aber pass beim download auf das es die richtige software ist. Es gibt noch eine andere software mit demselben namen und die taucht auch bei google als erstes auf.

R studio ist kostenlos. Um es bedienen zu können muss man sich aber ein paar yt videos dazu reinziehen. Aber dann ust es so super zum filtern.

Schachpapa

03.03.2024, 09:17

Nur weil Excel zu träge ist, musst du deine Daten nicht extern unterbringen.

Das hört sich sehr nach SQLite an.

https://www.sqlitetutorial.net/what-is-sqlite/

Edit:

mit dem DB Browser for SQLite hast du alles was du brauchst.

Deine CSV Datei importierst du via Import, bearbeiten kannst du sie im DB Browser

Woher ich das weiß:Berufserfahrung

Ich bin gerade an einem Programm dran, dass aus einem txt File Produktdaten auslesen soll. Also Produkt ID, Produktanzahl usw.

Die Spalten im Textfile sind mit tabstops getrennt. Das einlesen des txt Files war soweit kein Problem. Ich habe es so gelöst, dass für jede Spalte eine Liste erstellt wird und in diese Listen die jeweiligen Daten importiert werden. Das Programm soll im Hintergrund mit einer MySQL Datenbank verbunden sein. In dieser Datenbank sind alle Produkte und deren Spezifikationen aufgelistet. Nun soll das Programm mithilfe der ProduktID (Primärschlüssel) die Spezifikationen aus der Datenbank nehmen und diese in einer neuen Tabelle speichern.

Da ich mit Datenbanken und MySQL nicht besonders vertraut bin, wollte ich hier um mögliche Lösungsansätze bitten.

Ich hoffe meine Ausgangslage ist verständlich ausgedrückt

Verwendetes Datenbanksystem: MySQL (mit phpmyAdmin)

Programm: Windows Forms App (.NET Framework)

...zur Frage

Liste in SQL Datenbank speichern?

Hallo, ist es möglich in einer MySQL Datenbank eine Liste von Objekten also z.b. eine String Liste in einer Zeile einer Datenbank zu speichern?

Also z.b. die Java String Liste

List<String> list = new ArrayList<>();

in eine Spalte einer SQL Datenbank zu bringen und diese Liste natürlich danach auch wieder abrufen können?

Also welchen "Wert" müsste diese Liste haben (also int, varchar, text, etc) und wie gehen die Befehle um eine Liste darin zu speichern und eben wieder abzurufen?

...zur Frage

Fernsehserien API (Programmierschnittstelle)?

Woher bekommen Services wie "fernsehserien(dot)de", "serienjunkies(dot)de" oder "themoviedb(dot)org" ihre Daten über neue Serien? Machen die das alles selbst über "Web Scraping" oder gibt es irgendwo eine Programmierschnittstelle oder Datenbank bei der man neue, zukünftige Episoden abfragen kann?

Bei den bestehenden Webseiten im Internet kann man immer nur nach den zukünftigen Folgen einer einzigen Sendung filtern.

Ich hätte jedoch gerne eine Datenbank oder einen Service, bei dem ich alle Sendetermine der zukünftigen Episoden mehrerer ausgewählter Serien gleichzeitig suchen und nach Datum sortieren kann. Mit SQL-Abfragen oder Ähnlichem wäre so etwas mit passender Datenbank durchaus möglich.

Ziel wäre es, all seine Lieblingsserien eingeben zu können, und immer einen aktuellen Kalender aller neuen Sendetermine, aller neuen Folgen zu haben. Genau geht es mir hier um die Serien des öffentlich-rechtlichen Rundfunks (ARD - extra 3, ZDF - Die Anstalt, etc.)

...zur Frage

ASP-MVC Anwendung auf Server?

Ich habe eine Anwedung in ASP.net MVC programmiert, welche Daten aus einer CSV-Datei in eine Datenbank speichert, anschließend werden die Daten aus der Datenbank grafisch dargestellt. Das funktioniert alles schon lokal. Das Ziel des Projektes ist, dass die CSV-Datei und die Datenbank auf einen Server liegt. Die Application aber Lokal ist und sich die Daten aus der Datenbank holt.

Nun verstehe ich nicht ganz wie das geht, dass ich eine lokale Anwendung habe, welche mir die CSV-Datei, welche sich auf dem Server befindet ausliest und anschließend auf eine Datenbank speichert, welche sich ebenfalls auf dem Server befindet, obwohl die Webapp lokal ist. Geht das überhaupt?

...zur Frage

SQLite - Where Datum >= NOW?

Hallo,

ich habe folgendes Problem:

Ich möchte aus der Datenbank Werte auslesen, die im Format Datetime gespeichert sind.

Datenbankaussehen:

Spalte: datumveröffentlichung

Inhalt: 2022-09-01 00:00:00

Ich möchte nur Datensätze, die in der Vergangenheit von heute liegen, also wenn datumveröffentlichung <=/kleiner heute ist.

Meine Anfrage:

if (isset($_GET['t'])) {
    $thema = $_GET['t'];
    $jetzt = date("Y-m-d H:i:s");
    $sqlueberlektionen = "SELECT thema,titel,alttextcard,imgcard  FROM '$thema' WHERE $jetzt";
    $abfrageueberlektionen = $verbindung->prepare($sqlueberlektionen);
    $abfrageueberlektionen->execute();
    $lektionen = $abfrageueberlektionen->fetchAll();
}

Ps.: Sonnst funktioniert das Skript.

...zur Frage

Kann ich eine Datenbank in Excel ausgeben?

Ich habe mit Lazarus (in der Programmiersprache Object Pascal) eine Datenbank programmiert.

Kann ich die Datenbank Exportieren? Alternativ würde es auch reichen wenn ich die Datensätze nach einer bestimmten Spalte sortiere. Die Daten werden bereits in einem DBGrid Dagestellt

...zur Frage

Viele Datensätze vs Viele Tabellen

Hallo liebe Community,

ich habe mich in letzter Zeit etwas mit dem Thema Datenbanken, besonders im Bezug auf PHP, Perl etc. beschäftigt.

Meine Frage ist eigentlich recht einfach und es geht hierbei um eine Seite mit mehreren Benutzeraccounts und verschiedenen zu speichernden Daten. Ein Benutzer soll circa 20 verschiedene Arten von Daten speichern können, womit ich in der (MySQL) Datenbank 20 Tabellen anlegen werden. Empfiehlt es sich bei mehreren Benutzern nun für jede die zwanzig Tabellen mit prefix jedes mal neu anzulegen oder sollten die Datensätze jedes Benutzers in den gleichen Tabellen langen mit einer Spalte welche auf den Benutzeraccount verweißt. Oder doch lieber für jeden Benutzer eine neue Datenbank?

Es geht hierbei nur um die Performance Frage. Es kann ruhig mit mehreren hundert oder tausend Datensätzen und Benutzern gerechnet werden. Minimalnutzungsfälle können außer Acht gelassen werden.

Vielen Dank im Vorraus

Mit freundlichen Grüßen

Jariz

...zur Frage

Datenbank export zu Excel #PHP #HTML #SQL?

Ich stehe von dem Schritt einige Daten aus meiner Online-Plattform (SQL-Datenbank) per Knopfdruck im Excel-Format downloadbar zu machen.

Meine Frage:

Wie zeitgemäß ist es, eine HTML-Tabelle via HTTP-Header zum download aufzubereiten?

Ich möchte bitte keine Diskussion über CSV oder XLS.

Mir geht es um:

header("Content-type: application/vnd-ms-excel");

XLSX

...zur Frage

PHP MySQL Mehrere Werte in einem Datensatz (Spalte)?

Moin!

Ich stehe jetzt vor folgendem Problem. Ich will eine Art Plattform interne E-Mail Funktion bauen allerdings ohne die richtige Mail Funktion, sondern mit ner Datenbank, so die Absender, der Empfänger, der Inhalt etc. in der DB gespeichert werden. Allerdings kann die E-Mail auch an mehrere Benutzer verschickt werden. Mach ich dann für jeden Benutzer in der DB eine eigene Spalte für die E-Mails oder eine Spalte und in ein Feld dann mehrere Benutzer ID's (z.B. 2,34,3,7,11). Wie könnte ich diese dann Auslesen und eintragen?

Danke schonmal im voraus!

...zur Frage

Datenbank SQL sinnvolle Aufteilung von Attributen?

Kurz gesagt ich habe eine Datenbank zu Kinos erstellt. Unterteilt wird unter anderem in Filme und Filme haben immer eine ID, einen Namen, einen Datum, eine Uhrzeit und einen Preis. Ich habe eine Tabelle erstellt mit dem Namen "Filme" und die oben genannten Attribute hinzugefügt. Jetzt kommt aber das Problem, das es unterschiedliche Preisklassen gibt. Zum Beispiel ein Erwachsener zahlt für den Eintritt 15€, ein Kind unter 12 Jahren jedoch nur 6€. Schwerbehinderte Personen zahlen 10€ und Personen mit Geburtstag zahlen nur die Hälfte vom Ticketpreis, also 7,50€. Wie kann ich all dieses differenzieren? Sollte ich am besten eine neue Tabelle erstellen und all die Dinger unter dieser Tabelle auflisten und später dann per referenz also mit einem foreign key mir die Daten aus der anderen Tabelle holen oder wie könnte ich da theoretisch rangehen?

...zur Frage

Wie kann der eingegebene Eintrag nach Bestätigung in die Datenbank gespeichert werden?

Hallo,

mit folgendem Code scheint es nicht zu funktionieren, dass die Eingabe nach Bestätigungsfrage nicht in der Datenbank aktualisiert. Warum? Bin neu in PHP
Danke!

if ($name_select && $name_select !== $_POST["name"]) {

// Meldung ausgeben, dass bereits ein Eintrag vorhanden ist

echo "Es ist bereits ein Eintrag in der Spalte $column_name vorhanden. Möchten Sie den Eintrag wirklich überschreiben?";

echo "<form action='putzgruppen.php' method='post'>";

echo "<input type='hidden' name='name' value='" . $_POST["name"] . "'>";

echo "<input type='hidden' name='column_name' value='" . $column_name . "'>";

echo "<input type='submit' name='confirm' value='Ja'>";

echo "<input type='submit' name='cancel' value='Nein'>";

echo "</form>";

} else {

if ($count == 0) {

// Einfügen des Namens in die Datenbank

$name = $_POST["name"];

$sql = "INSERT INTO Putzgruppe ($column_name) VALUES ('$name')";

if (mysqli_query($conn, $sql)) {

echo "Daten erfolgreich gespeichert.";

header("Location: putzgruppen.php"); // Weiterleitung zur Datenbankseite

exit(); // Beenden des Skripts, um ein weiteres Ausführen zu verhindern

} else {

echo "Fehler: " . $sql . "<br>" . mysqli_error($conn);

}

} else {

if(isset($_POST['confirm'])) {

// Aktualisierung des bestehenden Eintrags

$name = $_POST["name"];

$column_name = $_POST["column_name"];

$sql = "UPDATE Putzgruppe SET $column_name='$name' WHERE $column_name='$name_select'";

if (mysqli_query($conn, $sql)) {

echo "Daten erfolgreich aktualisiert.";

header("Location: putzgruppen.php"); // Weiterleitung zur Datenbankseite

exit(); // Beenden des Skripts, um ein weiteres Ausführen zu verhindern

} else {

echo "Fehler: " . $sql . "<br>" . mysqli_error($conn);

}

} else {

echo "Das Eingabefeld ist leer.";

}

...zur Frage

Nodejs mariadb Column count doesn't match value count at row 1?

meine datenbank hat 4 spalten aber ich setze nur 3 ein weil die letzte eine auto_increment spalte ist,

ich nutze nodejs mit mariadb und habe folgende fehlermeldung beim daten einsetzen:

/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/misc/errors.js:64
  return new SqlError(msg, sql, fatal, info, sqlState, errno, additionalStack, addHeader);
         ^

SqlError: (conn=2420, no: 1136, SQLState: 21S01) Column count doesn't match value count at row 1
sql: INSERT INTO thread value (no, head, ts) - parameters:['1171187570193989762','rrrrrrrrrrrrrrrr',1699303276347]
    at module.exports.createError (/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/misc/errors.js:64:10)
    at PacketNodeEncoded.readError (/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/io/packet.js:582:19)
    at Query.readResponsePacket (/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/cmd/parser.js:58:28)
    at PacketInputStream.receivePacketBasic (/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/io/packet-input-stream.js:85:9)
    at PacketInputStream.onData (/home/j44/Downloads/themer/tut/node_modules/mariadb/lib/io/packet-input-stream.js:135:20)
    at Socket.emit (node:events:514:28)
    at addChunk (node:internal/streams/readable:376:12)
    at readableAddChunk (node:internal/streams/readable:349:9)
    at Readable.push (node:internal/streams/readable:286:10)
    at TCP.onStreamRead (node:internal/stream_base_commons:190:23) {
  sqlMessage: "Column count doesn't match value count at row 1",
  sql: "INSERT INTO thread value (no, head, ts) - parameters:['1171187570193989762','rrrrrrrrrrrrrrrr',1699303276347]",
  fatal: false,
  errno: 1136,
  sqlState: '21S01',
  code: 'ER_WRONG_VALUE_COUNT_ON_ROW'
}

...zur Frage

php, txt datei oder mysql, was ist schneller?

Hallo zusammen

ich bekomme im 500ms einen Seitenaufruf einer php datei von einem esp8266.

Dieser liefert nur eine einzige zahl.

nun müsste ich folgendes szenario vereinfachen:

sammle 4 Daten, rechne den durchschnitt und sende diesen mittels einens http-request

nun die frage:

ist es schneller,

3 txt datein zu erzeugen und beim 4 aufruf diese auslesen und den durchschnitt zu berechnen

oder

1 txt datei zu erstellen, hier immer eine neue zeile reinschreiben und bei der 4 zeile, die einträge addieren und den durchschnitt berechnen

oder

die 4 daten in eine Datenbank mit mysql zu schreiben und anschließend auszurechnen??

danke euch

...zur Frage

Formatierung von .csv zum Import in google calendar?

Hi!

ich habe rund 500 Veranstaltung jährlich die ich aus einer access datenbank in ein .xlr exportieren kann.

mein ziel ist es, dieses in ein .csv umzuwandeln und in google calendar zu importieren.

leider ist es mir noch nicht gelungen, ich nehme an es liegt an den nicht korrekten formatierung / strukturierung der daten.

im prinzip will ich 3 spalten importieren.
datum
uhrzeit
titel

gibt es da eine vorlage, die das .csv aussehn muss?

ich hab bisher nichts gefunden... :(

VIELEN DANK!

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen