Paket für Abfrage ist zu groß MySQL?

Hallo,

Ich stehe vor einem Problem, das vor etwa einer Woche begann, als ich versuchte, eine Verbindung zu einer MySQL-Datenbank herzustellen. Die Fehlermeldung wies auf einen überfüllten temporären Speicher hin. Eine Überprüfung des alten Servers zeigte, dass er lediglich mit 2 GB Arbeitsspeicher ausgestattet war, was offensichtlich nicht ausreicht.

Daraufhin haben wir auf einen neuen vServer mit 16 GB Arbeitsspeicher umgestellt. Ich habe ein frisches Ubuntu-System installiert, MySQL eingerichtet und die Datenbankdaten vom alten Server übertragen, was erfolgreich verlief.

Beim Versuch, mich mit DBeaver an die Datenbank anzubinden, erhalte ich jedoch die Fehlermeldung: "Packet for query is too large (4.739.923 > 65.535). You can change this value on the server by setting the 'max_allowed_packet' variable."

Obwohl ich die max_allowed_packet-Einstellung auf das Maximum von 1GB gesetzt habe, besteht das Problem weiterhin.

Ich bin ratlos und wäre für jegliche Hilfe dankbar.

13.02.2024, 11:00

Hallo,

habe das Problem nun über Umwege behoben, trotzdem vielen Dank !

3 Antworten

KarlRanseierIII

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Linux, Programmieren & Softwareentwicklung

11.02.2024, 23:15

Ich würde mir mal Gedanken darüber machen, warum so ein großes Paket notwendig werden sollte.

A communication packet is a single SQL statement sent to the MySQL server, a single row that is sent to the client, or a binary log event sent from a replication source server to a replica.

Du hast das DBMS nach der Änderugn sicherheitshalber neu gestartet?

P.S.:

Both the client and the server have their own max_allowed_packet variable, so if you want to handle big packets, you must increase this variable both in the client and in the server.

JulianOnFire

Fragesteller

12.02.2024, 08:47

Moin,

Keiner versteht warum das Paket so groß sein soll, dort sind lediglich ein paar Daten, zu Umsätzen von Beratern drin, bis zum Jahre 2005 glaub ich.

Was heißt lediglich; das sind an für sich schon einige Daten, aber keine -> 1GB +.

Die Daten werden alle 3 Tage durch einen Dump aktualisiert.

Also dass ist nicht einmal die Hauptdatenbank der Firma...

auf diese Datenbank werden nur die Umsätze, Kunden usw. dokumentiert, die dann in einer von mir programmierten C# Anwendung, als Tages/Jahresstatistik dargestellt werden sollen, wobei jeder Berater auf seine Umsätze zugriff hat.

Ich hatte die MySQL Datenbank damals leider nicht selbst aufgebaut (da war ich noch zu klein für :) ).

Würde ja eine neue DB anlegen, dann wäre das Problem gelöst. Dann wären allerdings auch alle Daten weg aus den vergangenen Jahren, was natürlich nicht geht. Das ist schon alles ziemlich ärgerlich.

Nachdem ich die max_allowed_packet-Einstellung erhöht habe, habe ich natürlich neu gestartet und danach nochmal überprüft ob die Einstellung auch wirklich gespeichert wurde. Das war immer positiv.

Deswegen bin ich langsam echt ratlos und verzweifelt und bräuchte mal einen der mir dabei helfen könnte. :(

KarlRanseierIII

12.02.2024, 12:50

@JulianOnFire

Hast Du mal auf Clientseite nach der entsprechenden Einstellung gesucht?

Ansonsten nehme statt etwas visuellem wie DBeaver einfach mal mysql (CLI-Tool) mit der entsprechenden Option, exemplarisch:

mysqld --max_allowed_packet=128M

Sonst müßtest Du halt ein brauchbares Log von DBeaver haben, welches jedes Statement dokumentiert und bei welchem es aussteigt.

https://dbeaver.com/docs/dbeaver/Log-files/

Kann ja auch noch sein, daß irgendwas bei Java im Connector schief läuft o.ä. .

Sofern die Datenbank keine BLOBs nutzt, scheinen bereits Paketgrößen über 64K eher unwahrscheinlich. (Queries mit großer Rückgabe werden ja zeilenweise übertragen).

elmex7

12.02.2024, 22:45

Mysql hat die Funktion explain um dir anzeigen zu lassen, wie mit deinem Query umgegangen wird.

Siehe https://dev.mysql.com/doc/refman/8.0/en/using-explain.html

Falls du da selber nicht durchblickst, schicke deinen problematischen Query mit explain davor an die Datenbank und poste hier den Output

Ansonsten - Fehler Logs sind Dein Freund!

elenaBC2411

11.02.2024, 22:17

"Obwohl ich die max_allowed_packet-Einstellung auf das Maximum von 1GB gesetzt habe" - offensichtlich ja nicht, da die Fehlermeldung ja etwas anderes sagt... .

JulianOnFire

Fragesteller

11.02.2024, 22:21

also bei der Abfrage;

SHOW GLOBAL VARIABLES LIKE 'max_allowed_packet';

kommt als gespeicherte Value: 1073741824 raus...

also offensichtlich ja schon richtig gesetzt

Ähnliche Fragen

vServer - Wo läuft die Datenbank?

Wenn ich einen vServer miete, um darin beispielsweise einen Web-Server aufzusetzen - Wo sollte ich dann die zum Webserver zugehörige Datenbank unterbringen?

Soll ich die auch auf dem vServer aufsetzen?

Oder sollte man die Datenbank lieber wo anders hosten, beispielsweise AWS oder Google Cloud?

Weil ich habe gesehen dass manche vServer nur ein paar GB Speicher bieten, und das klingt für mich dann nicht so, als wäre das für eine Datenbank gedacht?

Wie macht man das normalerweise?

...zur Frage

PHP-Funktion auslösen bevor man die Seite verlässt?

Ich probiere grade aus, meine eigenen „Google Analystics“ zu machen, da das Originale zu teuer ist. Egal, kommen wir zurück zum Thema. Wie füge ich Daten zu einer MySQL-Datenbank hinzu, genau dann, wenn der User die Seite verlässt. Ich habe es bereits mit diesem JavaScript versucht:

How do i run PHP-Functions before the page unloads bwz. close? I tried `beforunload` but it never really worked. I want to insert a record for analystics into php database. Here is the JavaScript:


```
const beforeUnloadListener = (event) => {
   document.write(' <?php 
		$sql2 = "DELETE FROM `SwiftSpion` WHERE ip = `$ip`";
$result2 = $conn->query($sql2);
	?> ');
}

window.addEventListener("beforeunload", beforeUnloadListener);

	const pageHideListener = (event) => {
    document.write(' <?php 
		$sql2 = "DELETE FROM `SwiftSpion` WHERE ip = `$ip`";
$result2 = $conn->query($sql2);
	?> ');
}
document.onvisibilitychange = function() {
  if (document.visibilityState === 'hidden') {
		document.write(' <?php 
		$sql2 = "DELETE FROM `SwiftSpion` WHERE ip = `$ip`";
$result2 = $conn->query($sql2);
	?> ');
  }
};

window.addEventListener("pagehide", pageHideListener);
```



I expect, that the MySQL-Command works when the user leaves the site.

...zur Frage

MySQL Server, nur Verbindungen von bestimmten IPs erlauben?

Guten Tag,

Ich habe auf einem Server einen MySQL Datenbank Server und möchte, dass nur mit localhost und von 2 anderen, bestimmten Adressen drauf zugegriffen werden kann. Alle anderen Verbindungen sollen abgelehnt werden (egal ob Passwort korrekt oder nicht).

Wie mache ich das?

Auf dem Server läuft Debian 10.

...zur Frage

Mysql Datenbank auf iPad übertragen?

Hallo Leute, weil ich kein Laptop habe und bei der Prüfung mein iPad verwenden möchte, wollte ich heute mein Mysql Server mit meinem iPad verbinden.

Letztendlich habe ich die folgende Fehlermeldung bekommen. Der App den ich für iPad benutze ist SQLPro MySQL

...zur Frage

MySQL maximale zugriffe pro sekunde

So, nun hab ich mal eine Frage an die Datenbankprofis.

Ich habe für ein Hamsterspiel an dem ich arbeite eine Datenbank in MySQL erstellt, die die Daten der einzelnen Hamster mitschreibt. Keine speziellen Daten, sondern wird lediglich beim auftauchen eines neuen Hamsters einmalig eine UUID des Hamsters, des Besitzers, das Datum und der Name des Besitzers in die Tabelle geschrieben. Soweit so gut, da aber von anderen Tieren in diesem Spiel ( die kein MySQL Backend haben ) bekannt ist das es davon tausende gibt und auch täglich hunderte neu dazu kommen, wollte ich nun fragen ob eine MySQL Datenbank eine solche Flut überhaupt schafft. Ich rechne grob das in Spitzenzeiten ca 20 neue Hamster gleichzeitig auftauchen. Schafft eine MySQL das ?

Hier die Hardwaredaten des Systems auf welchem die Datenbank läuft:

Intel Core 2 Quad @ 2.60
12 GB RAM
1 GB/s anbindung
MySQL 5.2
Ubuntu Server 10.10 64 bit

...zur Frage

Warum kann dieser php code keine Verbindung zur Datenbank herstellen?

Ich sitze hier und verzweifle förmlich daran, warum sich die eingegebenen Daten aus:

<!DOCTYPE html>
<html>
  <head>
    <h1>Der Weg ins Paradies</h1>
    <link rel="stylesheet" href="GL.css">
  </head>
    <p>Die Welt dadraußen ist trist, doch <br> sein kein Schaf, sei ein Wolf</p>
    <form method="post" action="Registrierungsseite.php">
      <p><label>Name:<br><input type="text" name="Name"></label></p>
      <p><label>E-Mail:<br><input type="text" name="Mail"></label></p>
      <p><label>Passwort:<br><input type="password" name="Passwort"></label></p>
      <p><label>IBAN:<br><input type="text" name="IBAN"></label></p>
      <p><input type="submit" value="Registrieren"></p>
    </form>
  </body>
</html>

nicht in der MySQL-Datenbank wiederfinden.

Meine PHP-Datei ist diese hier:

<?php
  // Get the form data
  $name = $_POST['name'];
  $email = $_POST['email'];
  $password = $_POST['password'];
  $iban = $_POST['iban'];

  // Connect to the MySQL database
  $db = mysqli_connect("localhost", "root", "", "paradies");

  // Check if the connection was successful
  if (mysqli_connect_errno()) {
    // If the connection failed, display an error message and exit
    echo "Failed to connect to MySQL: " . mysqli_connect_error();
    exit;
  }

  // Insert the form data into the MySQL database
  $query = "INSERT INTO paradies (name, email, password,iban) VALUES ('$name', '$email', '$password', '$iban')";

  if (mysqli_query($db, $query)) {
    // If the insert was successful, redirect the user to the login page
    header("Location: GL.php");
    exit;
  }
  else {
    // If the insert failed, display an error message
    echo "Error: " . $query . "<br>" . mysqli_error($db);
  }

  // Close the MySQL connection
  mysqli_close($db);
?>

Ich sehe den Fehler einfach nicht, da sobald man die Daten absendet, es zwar zur PHP-Datei weitergeleitet wird, dann jedoch lediglich der Code zu sehen ist. Die Datenbank hat dann natürlich auch keinen Eintrag.

Danke im Voraus.

...zur Frage

C# Anwendung mit MySQL Datenbank verbinden?

Moin, ich möchte von einer MySQL Daten zu einer C# Anwendung importieren, aber der ConnectionString scheint nicht richtig zu sein. Ich nutze für die Datenbank Verwaltung HeidiSQL, falls das wichtig ist.

Hab es schon mit mehreren connectionStrings probiert, aber keiner hat funktioniert.

Mein Code:

using System.Data.SqlClient;
namespace DB_Test
{
  public partial class Form1 : Form
  {
    public Form1()
    {
      InitializeComponent();
string connectionString1 = "Server=localhost;Database=test-db;Integrated Security=True;";
      string connectionString2 = @"Data Source=(localdb)\MSSQLLocalDB;Initial Catalog=test-db;Integrated Security=True;";
      string connectionString = @"Data Source=localhost;Initial Catalog=db-test;User id=root;Password=root;";
      SqlConnection connection = new SqlConnection(connectionString);
      connection.Open();
    }
  }
}

Infos zu der Datenbank:

...zur Frage

Mysql Datenbank auf Debian 10 installieren geht nicht?

Hey Ihr lieben,

Ich versuche seit Tagen Eine Mysql Datenbank auf meinem Debian 10 linux Server zu installieren. Doch dies scheitert bei jedem Versuch... er gibt denn Fehler aus das es nicht zu finden ist (es steht auf jeder Webseite gleich) hier der Command denn ich benutze :

sudo apt install mysql-server

Doch dann gibt er mir folgendes raus :

root@Debian10-8Gb:~# sudo apt install mysql-server
Reading package lists... Done
Building dependency tree
Reading state information... Done
Package mysql-server is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source


E: Package 'mysql-server' has no installation candidate

Vielen Dank für jede Antwort und Hilfe!

M.F.G Don_Goldi

...zur Frage

wie teile/verschicke ich eine mysql datenbank über zb whatsapp?

wenn ich es über server, data export versuche zeigt es mir dem fehler "unhandled expception:cannot access local variable "pwd" where it is not associated with a value. check the log for more details" an. laut internet ist "pwd" anscheinend das passwort (?). die datenbank ist im benutzer root erstellt und sie enthält nur tabellen. hoffe mir kann da wer helfen und danke im vorraus

...zur Frage

Zahl mit Arduino an MySQL Datenbank senden?

Moin,

Vielleicht kann mir jemand helfen. Ich will, dass mein Arduino den Wert einer stinknormalen Variable an eine MySQL-Datenbank schickt. Ich bin mehr oder weniger am Verzweifeln, weil mir niemand helfen kann... Es kann doch nicht so schwer sein, ne blöde Zahl irgendwie in Form einer Variable an die Datenbank zu senden...

Ich benutze einen normales Arduino Uno, und ein W5100 ethernet shield

Mein bisheriger Ansatz war so: (Logindaten der Datenbank entfernt)

#include <Ethernet.h>

#include <MySQL_Connection.h>

#include <MySQL_Cursor.h>

byte mac_addr[] = { 0xDE, 0xAD, 0xBE, 0xEF, 0xFE, 0xED };

IPAddress server_addr('localhost');

char user[] = "root";

char password[] = "secret";

// Sample query

char INSERT_SQL[] = "INSERT INTO Test (Sensor) VALUES ('3')";

EthernetClient client;

MySQL_Connection conn((Client *)&client);

void setup() {

Serial.begin(115200);

while (!Serial);

Ethernet.begin(mac_addr);

Serial.println("Connecting...");

if (conn.connect(server_addr, 3306, user, password)) {

delay(1000);

}

else

Serial.println("Connection failed.");

}

void loop() {

delay(2000);

Serial.println("Recording data.");

MySQL_Cursor *cur_mem = new MySQL_Cursor(&conn);

cur_mem->execute(INSERT_SQL);

delete cur_mem;

}

...zur Frage

Powershell Script soll keine Duplikate in der DB erstellen?

Hallo,

ich habe ein Powershell Script welches Daten von API Seiten abfragt und diese in eine Datenbank schreibt. Das funktioniert soweit auch. Leider dupliziert das Script bei jeder Abfrage die Daten in der Datenbank, dabei sollen schon vorhandene Datensätze nicht erneut geschrieben werden sondern nur neue, die auf der abgefragten Seite hinzugekommen sind. Habe verschiedene Lösungswege versucht aber nichts funktionierte. Entweder schrieb das Script trotzdem Duplikate oder es gab andere Fehlermeldungen... Kann mir jemand sagen wie ich das lösen kann?

Das Script:

# Konfiguration der Vote-Server

$voteServer = @(

@("LINKZURAPI1", "1.Server", 3),

@("LINKZURAPI2", "2.Server", 3)

)

# MySQL-Datenbank

$MySQLHost = "localhost"

$MySQLPort = "3306"

$MySQLDatabase = "test"

$MySQLUser = ""

$MySQLPassword = ""

# Funktion zum Überprüfen und Erstellen der Tabelle

function Ensure-DatabaseTable {

param (

[MySql.Data.MySqlClient.MySqlConnection]$connection

)

$tableName = "votings"

$query = @"

CREATE TABLE IF NOT EXISTS $tableName (

id INT PRIMARY KEY AUTO_INCREMENT,

name VARCHAR(100),

voteAt DATE,

server VARCHAR(100),

site VARCHAR(100),

received TINYINT(4) DEFAULT 0,

coins INT DEFAULT 0

);

$command = $connection.CreateCommand()

$command.CommandText = $query

$command.ExecuteNonQuery() | Out-Null

}

# Verbindung zur Datenbank

try {

[System.Reflection.Assembly]::LoadFrom("C:\Program Files (x86)\MySQL\MySQL Connector NET 8.2.0\MySQL.Data.dll") | Out-Null

$constr = "server=$($MySQLHost);port=$($MySQLPort);database=$($MySQLDatabase);user id=$($MySQLUser);password=$($MySQLPassword)"

$con = New-Object MySql.Data.MySqlclient.MySqlConnection($constr)

$maxAttempts = 5

$attempts = 0

while ($attempts -lt $maxAttempts -and $con.State -ne 'Open') {

try {

$con.Open()

} catch {

Write-Output "Fehler beim Verbinden zur Datenbank: $_"

}

$attempts++

Start-Sleep -Seconds 1

}

# Verbindung erfolgreich oder nicht

if ($con.State -ne 'Open') {

Write-Output "Verbindung zur Datenbank konnte nicht hergestellt werden."

Exit

} else {

Write-Output "Datenbankverbindung erfolgreich geöffnet."

}

# Abfrage für die Vote Links

foreach ($server in $voteServer) {

try {

Write-Output "Starte Abfrage für Server $($server[1])"

$r = Invoke-RestMethod -Method Get -Uri $server[0]

if ($r.GetType().FullName -eq "System.String") {

Write-Output "Abruf vom Vote-Server fehlgeschlagen (String erhalten)."

Continue

}

foreach ($voter in $r.data) {

$votedatum = $voter.timestamp

if (![System.DBNull]::Value.Equals($votedatum) -and $votedatum -ne $null -and $votedatum -ne "") {

try {

$date = [datetime]::ParseExact($votedatum, 'yyyy-MM-ddTHH:mm:ssZ', $null)

$cmd = $con.CreateCommand()

$cmd.CommandText = @"

INSERT INTO votings (name, voteAt, server, site, received, coins)

VALUES (@name, @voteAt, @server, @site, @received, @coins)

ON DUPLICATE KEY UPDATE

name = VALUES(name),

voteAt = VALUES(voteAt),

server = VALUES(server),

site = VALUES(site),

received = VALUES(received),

coins = VALUES(coins)

$cmd.Parameters.AddWithValue("@name", $voter.Username) | Out-Null

$cmd.Parameters.AddWithValue("@voteAt", $date.ToString("yyyy-MM-dd")) | Out-Null

$cmd.Parameters.AddWithValue("@server", $server[1]) | Out-Null

$cmd.Parameters.AddWithValue("@site", 'deutsche-arkserver') | Out-Null

$cmd.Parameters.AddWithValue("@received", 0) | Out-Null

$cmd.Parameters.AddWithValue("@coins", 0) | Out-Null

$cmd.ExecuteNonQuery() | Out-Null

Write-Output "Datensatz für $($voter.Username) erfolgreich eingefügt oder aktualisiert."

} catch {

Write-Output "Fehler beim Einfügen oder Aktualisieren in die Datenbank: $_"

}

Write-Output "Abfrage für Server $($server[1]) erfolgreich durchgeführt."

} catch {

Write-Output "Fehler bei Server $($server[1]): $_"

Write-Output $_.Exception.InnerException.StackTrace

}

} catch {

Write-Output "Fehler beim Verbinden zur Datenbank: $_"

} finally {

# Schließe die Datenbankverbindung am Ende der äußeren Schleife

if ($con.State -eq 'Open') {

$con.Close()

Write-Output "Datenbankverbindung erfolgreich geschlossen."

}

...zur Frage

Windows Forms Projekt mit Datenbank als ausführbare exe Datei?

Hallo,

Ich hatte mittels Windows Forms C# eine Statistik Plattform für eine kleine Firma erstellt.

Das läuft soweit alles.

Ich hatte für die Firmen/finanzdaten, den MySQL Server der Firma genutzt.

Da sich in dieser Anwendung verschiedene Nutzer anmelden können, hatte ich in ssms eine Datenbank zum login erstellt.

In der visual studio Ausführung klappt alles so wie es soll.

Wie kann ich die Anwendung jetzt als ausführbare exe Datei umsetzen, sodass auch die SQL Verbindung hergestellt wird wenn die Firma die Anwendung auf ihrem PC installiert.

Muss ich da was beachten?

Vielen Dank schon mal.

...zur Frage

MySQL-Server braucht zu viel Arbeitsspeicher?

Hallo Community!

Ich habe ein Problem. Und zwar braucht mein MySQL-Server der auf meinem vServer läuft (Virtualisierungsprogramm: OpenVZ) relativ viel Arbeitsspeicher.

Ich habe dem vServer 512MB RAM zugewiesen (was doch theoretisch für 'nen Apache2-, MySQL-, FTP-, und Mail-Server reichen sollte?

Der vServer ist eigentlich frisch installiert (Debian 6.0).

mysql --version gibt aus: mysql Ver 14.14 Distrib 5.5.28, for debian-linux-gnu (x86_64) using readline 6.2

Als "Beweis" das MySQL schuld ist, hier ein Screenshot: http://dennis14e.space8.de/upload/screen108.png

Ich hoffe Ihr könnt mir helfen, ich bin für jede hilfreiche Antwort dankbar :)

MfG Dennis14e

...zur Frage

Wie kann ich eine MySQL Datenbank erstellen?

Hallo,

Ich baue gerade einen Minecraft Server auf und brauche nun eine MySQL Datenbank aber wie kann man die erstellen? Ich habe es probiert und diese Commands verwendet: https://pastebin.com/As75tdXs

Doch ab dem dritten Command bekomme ich immer eine ähnliche Fehlermeldung:

Paket libapache2-mod-php5 ist nicht verfügbar, wird aber von einem anderen Paket

wurde oder nur aus einer anderen Quelle verfügbar ist.

E: Für Paket »php5« existiert kein Installationskandidat.

E: Für Paket »libapache2-mod-php5« existiert kein Installationskandidat.

Danke im Voraus!

PS: Der Server ist ein Ubuntu Server.

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen