Warum ist die Google KI so schlecht?
Siehe Bilder
3 Antworten
Das erste hat bei mir Funktioniert. Beim Zweiten zählt die KI das D, das du suchst wahrscheinlich auch schon zum Fahrrad dazu.
Hinweis: das Wort habe ich etwas unkenntlich gemacht, bevor es dafür Ärger gibt. Das Wort hat die KI beim ersten Versuch so ausgegeben.
Das von dir genannte Problem lässt sich technisch erklären.
So LLMs teilen deinen Input in tokens auf. Also z.B. wel/ches/wort/f/ängt/mit/a/...
Dabei ist meist, nicht immer, ein Wort ein token. Häufige Wörter sind meist ein token, ausgedachte oder seltene Wörter meist mehrere.
Die tokens werden dann in zahlen umgewandelt. Die sind dabei einfach nummeriert, von 1 bis 100.000 oder so.
Dann bekommt die ki nur [50797, 7235, 108653, 285, 61575, 2403, 261, 448, 844, 135341, 6692, 287, 2933] Oder so.(Echtes Beispiel, chatgpt tokens https://platform.openai.com/tokenizer)
Sie ki hat also keine Ahnung welche Buchstaben in welchem Wort sind. Sie hat garkeine Möglichkeit es herauszufinden, außer vielleicht wenn du das Wort buchstabierst.
Du kannst dir vorstellen wenn man die Frage stellt "wie viele 272 in 112597" bekommt man keine gute Antwort. Die ki kann im Prinzip nur raten.
Das problem lässt sich mit der aktuellen Architektur von LLMs auch nicht lösen. Diese tokenization iat hardcoded, lernt also nicht. Fahrrad bleibt für immer 112597. Wenn man das lösen wollen würde, müsste man auf den tokenizer verzichten.
Es wird allerdings gerade viel an Architekturen ohne tokenizer geforscht. Diese Modelle könnten solche Fragen dann beantworten https://towardsdatascience.com/why-your-next-llm-might-not-have-a-tokenizer/
Anführungszeichen verwenden, wie man es schon im Deutschunterricht gelernt hat.
------
------
