Kann man solche Fehler von ChatGPT irgendwie umgehen oder woran liegt das?

6 Antworten

Vom Beitragsersteller als hilfreich ausgezeichnet

GPT-4o ist wie jedes andere große Sprachmodell (das, was umgangssprachlich als „KI“ bezeichnet wird) nur ein riesiger, selbstlernender Algorithmus, der weiß, welche Buchstabenkette auf welche andere Buchstabenkette am besten folgt. ChatGPT hat keine Ahnung, was der von dir geschriebene Satz bedeutet, oder was du „willst“. Es weiß nur, welche konkrete Aneinanderreihung von Buchstaben am besten zu deiner Anfrage passt.

Der größte Nachteil, den dieser Algorithmus („Transformer-Modell“) hat, sind Halluzinationen. Das ist, wenn ein Sprachmodell absolut selbstbewusst eine Antwort ausgibt, die völlig falsch oder auch völlig unpassend ist und zum Teil noch auf die Richtigkeit dieser Antwort besteht.

In diesem konkreten Fall ist das recht einfach zu erklären: Du gibst ChatGPT einen Satz und verlangst, dass der Satz auf Korrektheit geprüft wird. Damit erzeugst du einen Erwartungseffekt. ChatGPT geht basierend auf deiner Anfrage davon aus, dass etwas an dem Satz falsch sein muss (confirmation bias). In den Trainingsdaten, mit denen ChatGPT trainiert wurde, wird bei solchen Anfragen in der Regel nämlich auch ein Fehler im Satz vorhanden gewesen sein. Mit der Erwartungshaltung, dass etwas falsch sein muss, antwortet ChatGPT nun also selbstbewusst, dass der Satz falsch ist bzw. verbessert werden könne, obwohl das eigentlich gar der Fall ist. Und obwohl ChatGPT den selben Satz nochmal ausspuckt, merkt „er“ das nicht – da „er“ nunmal nicht intelligent ist, sondern nur Buchstaben aneinanderreiht.

Das ist ein grundsätzliches Problem mit Sprachmodellen und Grund dafür, weshalb man ihre Antworten prüfen sollte. Einen Lösungsansatz dafür gibt es nicht, weil das ein grundlegendes Problem mit der dahinter stehenden Technik ist.
Etwas besser sind als die Basismodelle wie GPT-4o sind jedoch sogenannte Reasoning-Modelle, z.B. o3-mini von OpenAI. Diese simulieren, bevor sie ihre eigentliche Antwort schreiben, einen „Gedankenfluss“. In einem solchen Gedankenfluss merkt das Modell oft, dass die Antwort, die es eigentlich schreiben wollte, eine Halluzination ist. Das funktioniert aber auch (noch) nicht immer und der Betrieb dieser Reasoning-Modelle ist etwas rechenintensiver und damit teurer – weshalb die Nutzungslimits für Anwender oft niedriger sind.


frostfeuer85 
Beitragsersteller
 27.03.2025, 08:32

Danke, ein echt guter und informativer Beitrag!

ChatGPT ist eine KI - und KIs haben auch die Eigenschaft, lernen zu können. ChatGPT wird aus diesem Dialog lernen und solche Dinge in Zukuft zu vermeiden versuchen.

ChatGPT ist kein Müll - ChatGPT ist einfach nur ein "Kind", welches noch viel lernen muß. Und es ist an uns, ihm keinen Müll beizubringen.


1akob  26.03.2025, 08:44

Nein, das stimmt so nicht. ChatGPT lernt nicht aus Gesprächen, sondern basiert auf einem vorher trainierten Model mit einer riesigen Datenbank. ChatGPT speichert auch keine Chats oder passt sich durch Interaktionen an. Die KI wurde mit Milliarden von Texten aus Büchern, Artikeln und dem Internet trainiert. Das ist aber abgeschlossen, also lernt die KI nicht in Echtzeit dazu.

Waldi2007  26.03.2025, 09:10
@1akob

Nicht ganz! Eine gute KI trainiert selbst im Realbetrieb noch dazu.

1akob  26.03.2025, 09:28
@Waldi2007

Es geht hier um ChatGPT und bei dieser ist das nicht der Fall.

LeBonyt  26.03.2025, 08:42

Leider nicht gaz richtig. ChatGPT lernt nicht aus den Dialogen mit Nutzern, sondern auschliesslichn durch Werkzeuge der Entwickler.

irrationales Verhalten von ChatGPT

Bei AI geht es immer um Klassifikation. Wenn man also nach Verbesserungspotential fragt, bekommt man das, was ein Klassifikator finden kann, und sei es auch noch so geringfügig. Was ein Klassifikator nicht gut kann: erkennen dass es keine Klasse gibt, in die ein Datensatz passt. Oder für diesen Fall volkstümlicher ausgedrückt: wenn der Satz perfekt ist, warum fragt man dann überhaupt nach Fehlern?

Rationalität kann man allenfalls vom Benutzer insofern erwarten, als es immer besser ist, zu verstehen, wie das funktioniert, das man benutzt.


frostfeuer85 
Beitragsersteller
 26.03.2025, 08:42

Ich könnte es verstehen, wenn er unsinnige Antworten geben würde, wenn ich ihn bitte, einen fehlerfreien Satz zu korrigieren oder zu verbessern. Aber ich fragte ja bewusst "Is this correct", er könnte das also auch einfach mit "Ja, ist es." beantworten, oder nicht? Oder ist er getrimmt, immer zu verbessern, auch wenn es nichts zu verbessern gibt?

Germaghribiya  26.03.2025, 09:17
@frostfeuer85

Doch, das war ja offensichtlich verbesserungswürdig, auch wenn es eine sehr geringe Verbesserung ist. Gpt hat dir doch erklärt, welchen Vorteil es bringt, den Satz mit Bindestrich zu verbinden und nicht zwei Sätze zu belassen.

hologence  26.03.2025, 10:28
@frostfeuer85
Oder ist er getrimmt, immer zu verbessern, auch wenn es nichts zu verbessern gibt

er ist vor allem getrimmt, die gestellte Frage mit Hilfe gelernter ähnlicher Fragen einzuordnen. Meist steckt hinter der Frage die Suche nach Fehlern, also werden Fehler gesucht. Was die Frage logisch bedeutet, kann AI nicht wissen, da Logik und AI nichts miteinander zu tun haben.

Ein Beispiel: Frage: "können Sie mir die Uhrzeit sagen?"

Logische Antwort: "Ja"

Klassifiziert trainierte Antwort: "fünfzehn Uhr dreißig"

frostfeuer85 
Beitragsersteller
 26.03.2025, 10:32
@Germaghribiya

Hast du seine Ausführungen unter Punkt 1 und 3 gelesen und verstanden? Das ist doch kompletter Käse, was er da schreibt. Und auch die nächste Antwort dann "You're right! The only real difference is the dash. Your original sentence is perfectly fine as it is!"

Nein. Der Satz ist gut, so wie er ist. Da gibt es nichts zu verbessern, außer das C bei chapter. Warum soll ChatGPT Fehler finden, wo keine sind?


frostfeuer85 
Beitragsersteller
 26.03.2025, 08:34

Okay, aber dann wäre doch die rationale Reaktion, dass ChatGPT sagt "Your sentence is fine as it is.", anstatt sich selbst drei irrationale Gründe zu basteln wie er in seiner zweiten Antwort beschreibt?

1akob  26.03.2025, 08:35
@frostfeuer85

Du hast es darum gebeten, zu erklären, warum der Satz mit dem „—„ besser ist. Das wurde ausführlich beantwortet. Was ist dein Problem?

frostfeuer85 
Beitragsersteller
 26.03.2025, 08:39
@1akob

Lies doch mal Punkt 1 und 3 seiner Erklärung. Das ist keine rationale Antwort. Unter 1. beschreibt er, dass er Redundanz entfernt hat, dabei hat er den Satz nicht verändert und unter 3. behauptet er, er hätte etwas hinzugefügt, was vorher schon da war.

Es iat halt nur eine Maschine.

Es hat keine Intelligenz