BULK INSERT?

Was ist ein Bulk insert in SQLite?

3 Antworten

30.10.2017, 07:54

Ein Bulk Insert ist ein Insert Statement bei denen mehre Inserts auf einmal getätigt werden. Bei Datenbankoperationen geht ein Großteil der Zeit verloren weil der Kontext gewechselt werden muss (von deiner Programmierumgebung zur SQL Umgebung durch den Treiber durch usw.) als auch für das Parsen des SQL Befehls.

Bei einem Bulk Insert wird nur ein Statement an die Datenbank übergeben, du hast also nur einen Kontextwechsel, auch muss der SQL Befehl nur einmal geparsed werden, die entsprechenden Variablen werden dann einfach intern im bereits geparsten SQL Befehl ersetzt.

Entsprechende Beispiele findest du hier:
https://stackoverflow.com/a/5009740/1900980

Woher ich das weiß:Berufserfahrung – Softwareentwickler/Projektleiter seit 2012

RIDDICC

30.10.2017, 06:56

in welchem Zusammenhang denn so?

ich könnte mir vorstellen, dass normales INSERT gemäß SQL gemeint ist, bloß dass es sich um eine riesige Menge von solchen INSERT Kommandos handelt, die wohl auch noch innerhalb derselben Transaktion stattfinden (also dann sind die schon etwas besonderes wegen der Atomizität... *grins*)...

Woher ich das weiß:Studium / Ausbildung – Diplom(U)-Informatik-Studium erfolgreich absolviert...

Jamal312

Fragesteller

30.10.2017, 07:02

Ich muss ein BULK INSERT machen für 3 Tabellen. Das muss ich mit 3 csv Dateien tun.

Also ist ein BUlK INSERT nichts weiter als z. B.

INSERT INTO (KID, Vorname, Nachname, E-Mail)
VALUES (12, Lea, Muster, lea.muster@gmail.com); und das in grossen mengen?

Wenn man eine Excel oder CSV Datei importiert nennt man das auch einen BULK IMPORT?

RIDDICC

30.10.2017, 13:40

@Jamal312

„bulk insert“ bedeutet etwa „Massen-Einfügung“ oder „massenhafte Einfügungen“...

ein „bulk import“ wäre also „massenhaftes Importieren“... also massenhafte Import-Vorgänge... mit einem einzigen Import-Vorgang wird es nie ein „bulk import“... :)

Lexicus

30.10.2017, 07:47

BULK INSERT ist ein Massenimport der Oftmals mit Shema zusammen gemacht wird was bei einem INSERT eher selten gemacht wird.

Hallo. Ich möchte den Input eines HTML-Formulars mit Hilfe von Node in eine SQLite Datenbank einfügen.

Mein index.html:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Hello world!</title>
    <script src="sqlite.js"></script>
</head>
<body>

    <form action="/team_name_url/" method="post">
        <label for="team_name">Enter name: </label>
        <input id="team_name" type="text" name="name_field" value="Default name for team.">
        <input type="submit" value="OK">
    </form>

</body>
</html>

Mein sqlite.js:

const sqlite3 = require('sqlite3');
const db = new sqlite3.Database('./sqlite.db');

let express = require('express');
let app = express();
const bodyParser= require('body-parser');


app.use(bodyParser.urlencoded({extended:true}));

app.post('/',(req,res)=>{
let placeName = req.body.PlaceName; 
});


db.run(`INSERT INTO places (id, name, coords) VALUES(4, ${placeName}, '1234, 5678');`, function(err) {
    if (err) {
        return console.log(err.message);
    }

    console.log(`A row has been inserted with rowid ${this.lastID}`);


});

db.close();

...zur Frage

Ist der extra Download von SQLite nötig, wenn ich DB Browser for SQLite habe oder reicht eines von beiden?

...zur Frage

SQLite Order by?

Guten Tag,

wie kann ich mehrere Spalten mit Order by sortieren?

Ich möchte nach 2 Spalten sortieren.

Liebe Grüße

...zur Frage

SQL Befehl um eine Stringspanne zunehmen?

Ich möchte von a bis x alle Werte aus einer Tabelle

Ich habe an Like gedacht:

Where xy Like "A%"

und dann weiss ich nicht weiter wie es Syntaxkorret wäre.

...zur Frage

sqlite wert nach bestimmter zeit auf null setzen?

Servus, ich bastel gerade an einer Datenbank für ein Webprojekt mit Subscription model und würde gerne wissen wie ich einen wert nach einer bestimmten zeit auf null setzen kann (Das aus subscription true nach 30d fals gemacht wird)

...zur Frage

SQLite-Wal und -Shm?

Hallo,

weiß einer zufällig was genau diese 2 Daten sind und wie man diese Dateien öffnen kann?

Im Internet habe ich leider nix dazu gefunden

Vielen Dank

...zur Frage

C# Verbindung zu einer SQLite Datenbank auf einem Server?

Hallo an alle Entwickler,

ich habe jetzt etwas im Internet gesucht, bin allerdings bisher noch nicht fündig geworden. Ich möchte mich in einer Anwendung zu einem Server verbinden, der nicht in meinem Netzwerk ist. Auf diesem Server liegt eine SQLite Datenbankdatei ab, auf die ich gerne zugreifen möchte. Weiß jemand, wie ich das anstellen kann? Ich dachte da an folgende Methode:

new SQLiteConnection(@"Server=12.34.567.89:1234;Data Source=\home\test.sqlite;");

Wenn ich mich so versuche zu verbinden, kommt unable to open database file.

Vielen Dank im Voraus.

...zur Frage

Kann man mit javascript und sqlite eine Handy-App schreiben?

Welche Möglichkeiten gibt es? Es sollen möglichst keine oder wenig zusätzliche Bibliotheken oder sonstige Software zum Laufenlassen der App nötig sein.

Die App soll aus einer lokalen (keine Internetverbindung) Sqlite-DB lesen und Daten auch in der DB speichern können.

Gut wäre, wenn man das einfach im Browser aufrufen könnte.

Welche Möglichkeiten gibt es dafür und was ist dafür nötig?

...zur Frage

Bestimmten Eintrag in SQLite DB ändern?

Ich hänge seit bestimmt einer halben Stunde an dem Thema... Ich habe eine bestehende DB (s. Bild 1) und in dieser stehen Daten drin (s. Bild 2). In der letzten Spalte verified möchte ich durch einen Befehl einen neuen Wert eintragen bzw. den bestehenden Wert ändern ohne die anderen zu verändern.

Bild 1:

Bild 2:

Wie also lautet denn der Befehl, um den bestehenden Wert zu ändern?

Ich habe es normal so versucht:

insert into registered_users(verified) values('YES')

Die Datenbank gibt folgendes aus:

Fehler beim Ausführen der SQL-Abfrage auf der Datenbank 'QameTalqDB': NOT NULL constraint failed: registered_users.user_id

Schließlich sind einige Spalten auf NOT NULL gestellt. Ich denke, ich mache einfach nur einen simplen Fehler, der mich unnötig Zeit kostet.

Übrigens:

Ich möchte eine bestimmte Zeile selecten (bspw. user_id='1') und in dieser will ich dann ein Wert ändern.

Ich hoffe ihr könnt mir helfen.

MfG

...zur Frage

SQL Abfrage über mehrere Tabellen?

Hallo, ich brauche Hilfe bei dieser SQL Abfrage:

SELECT * FROM excel WHERE titel like '%verweis%' or tags like '%verweis%' GROUP BY titel;

Mein Problem ist, dass ich nicht nur die Tabelle "excel" durchsuchen möchte sondern auch css, html, word und mir diese ausgeben möchte. Wenn ich die Tabellen mit einem Beistrich hintereinander schreibe kommt ein Fehler. ( im Internet gelesen)

Ausführung wurde mit Fehlern beendet.

Ergebnis: ambiguous column name: titel

In Zeile 1:

SELECT * FROM excel, css WHERE titel like '%verweis%' or tags like '%verweis%' GROUP BY titel;

Meine Tabellenstruktur (SQLite DB):

Danke im voraus

...zur Frage

React Fullstack mit welchem Backend?

Ich wollte NextJS lernen Fullstack React Framework aber ich stelle mir die Frage, mit was genau man das Ganze verwendet. In fast jedem YouTube-Video wird "Prisma" (davor noch nie gehört) mit einer anderen Datenbank genutzt, was das alles noch schwieriger macht.

Es gibt PostgreSQL, MongoDB, SQLite, usw..

Ich kenne normales SQL in Kombination mit PHP, aber die neuen modernen Sachen kenne ich nicht.

React und PHP harmonieren nicht so gut, es gibt auch wenig Online-Ressourcen und ich sehe da keine Zukunft für Stellenausschreibungen, weshalb ich diese Kombination gar nicht mehr nutzen will und backendseitig lieber von neu anfangen möchte. NextJS wäre bequem, da ich keine Router brauche, SSR habe, TS + Tailwind-Support.

Kann mir ein Fullstack-Entwickler von euch eine Roadmap empfehlen?

NextJS mit was als Datenbank, MERN-Stack vielleicht oder irgendwas anderes?

Ich bin bereit in Zukunft mehr zu lernen, aber erstmal einen Allrounder, in dem ich mein Wissen vertiefen kann.

...zur Frage

SQL Injektion und Cross Site Scripting verhindern?

Wie würde ich das hier in sicher machen ?

Es ist der Php Code von einem Unsicheren Chat aber es geht mir um XSS oder SQL Injectons, nicht um Verschlüsselungen etc.

<?php
    $host = 'localhost';
    $user = 'root';
    $pw = '';
    $database = 'Chat';
$db = mysqli_connect($host, $user, $pw, $database);

if ($db) {
} else {
    exit("Error" . mysqli_connect_error());
}
if (isset($_GET['message']) && $_GET["message"] != "") {
    $username = "Alice";
    $message = $_GET['message'];
    $sql_insert = 'INSERT INTO messages SET
                  user = "' . $username . '",
                  message = "' . $message . '"';
    $sql = "SELECT * FROM messages";
    $res =  $db->query($sql);
    $insert = mysqli_query($db, $sql_insert);
    echo "Sucessfull";
}
else {
    echo '<script> alert("Bitte Trage etwas ein")';
}

...zur Frage

Node.js und SQLite mehrere Eintraege gleichzeitig speichern?

Ich will gerne mehrere Eintraege gleichzeittig in eine Tabelle speichern aber ich weis nicht wie ich das richtig schreibe, ich bekomme ganze zeit nur Fehlermeldungen, der einzige Code den ich jetzt habe der schreibt nur eine Reihe in die Tabelle und sieht so aus:

let sql = 'INSERT INTO users';
	   sql += '(eins';
	   sql += ', zwei';
	   sql += ', drei';
	   sql += ', vier';
	   sql += ', fuenf';
	   sql += ', sechs';
	   sql += ', sieben';
	   sql += ', acht';
	   sql += ', neun)';
	   sql += 'VALUES';
	   sql += "(?,?,?,?,?,?,?,?,?)";

	let objectary = [];
	for(let a=0; a<9; a++)
	objectary[a] = a;
	
	db.run(sql, objectary, function(err)
	{
	  if(err)
	  {
	    res.status(200).json(err.message);
		return console.error(err.message);
	  }
	  if(this.changes > 0)res.status(200).json(1);
	  else res.status(200).json("no changes saved");
	});

Der Code speichert jetzt eine neue zeile in die sqlite tabelle, ich such aber ein Beispiel womit ich direkt zehn oder hundert user in die tabelle speichern kann mit nur ein Request, wie schreibt man das?

...zur Frage

SQL MAX() - Fehler?

Hallo,

ich habe ein Problem mit meiner SQL Abfrage.

Die Tabelle:

Der Befehl:

INSERT INTO excel (titel, vorherige) VALUES ('allo', (SELECT titel from excel where (SELECT max(id) from excel)));

Ich möchte immer, wenn ich den Befehl ausführe in der Spalte 'vorherige' den Titel des vorherigen Datensatzes stehen haben. Was ist damit falsch?

Ich habe es jetzt schon öfter probiert - es kommt auch kein Fehler!

Danke im voraus.

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen