Gemini schreibt mit anderen alphabeten?
Ich habe jetzt seit einiger Zeit Gemini ausgetestet (sowohl 1.5 als auch 2.0). Dabei ist mir ein regelmäßig ein Fehler aufgefallen: Gemini tendiert dazu einzelne wörter in seinen antworten mit anderen alphabeten, wie unter anderem Kyrillisch, zu ersetzen. Dabei haben diese wörter jedoch keine Bedeutung im z.B. Russischen (habe die wörter im Google übersetzer unter Sprache erkennen einkopiert).
Meine Fragen sind jetzt: Habt ihr dieses problem auch feststellen können und habt ihr eine Idee wieso dieses Problem Auftritt/bei anderen KI Sprachmodellen nicht Auftritt?
1 Antwort
Das Problem ist bekannt. Liegt meist an der Tokenization – Gemini packt manchmal ähnlich aussehende Unicode-Zeichen aus anderen Sprachen, wenn es unsicher ist. Andere Modelle filtern das stärker raus oder haben andere Tokenizer-Strategien. Trainingsdaten-Mischung spielt auch rein. Wird bestimmt noch optimiert.