Warum rät ChatGPT anstatt zuzugeben, dass er etwas nicht weiß?
Ich weiß grob, wie eine KI funktioniert mit den Wahrscheinlichkeiten des nächsten Wortes und so. Daher kann sie ja quasi nur „raten“. Allerdings frage ich mich schon länger, warum die Entwickler nicht eine Mindestanforderung für diese Wahrscheinlichkeit festlegen, also einen bestimmten Prozentsatz zu dem die Antwort mindestens stimmen muss.
Ich habe nämlich nun schon des öfteren erlebt, dass ChatGPT lieber falsche Antworten gibt als ehrlich zuzugeben, dass er die gefragte Information nicht hat / die gegebene Aufgabe nicht lösen kann. Hiermit meine ich ausdrücklich nicht Fragen mit persönlichem Bezug, also zu deren Beantwortung es Informationen bedarf, die sich nicht im Internet finden. Da ist er ehrlich. Es geht um Infos, die sich so im Internet finden lassen, zu deren „Aufspüren“ ChatGPT aber noch nicht fähig zu sein scheint. Hierbei ist mir auch bewusst, dass ChatGPT keinen Zugriff auf aktuelle Informationen hat.
Klar, es wird seitens der Website darauf hingewiesen und es sollte auch jedem klar sein, dass man sich auf die ausgegebenen Dinge nicht verlassen kann. Aber es täte der Glaubwürdigkeit des Programms und vielleicht auch der Akzeptanz von KI in der Gesellschaft doch ein Gutes, wenn sie besser in der Lage wäre, ihre eigenen Kompetenzen einzuschätzen.
4 Antworten
KI-Modelle wie ChatGPT verwenden statistische Methoden, um Texte zu generieren oder zu verstehen, lernen aus großen Datenmengen und berechnen die Wahrscheinlichkeit von Wörtern oder Phrasen basierend auf dem Kontext. Allerdings sind sie nicht immer genau, besonders bei komplexen, vagen oder spezifischen Anfragen. Entwickler können verschiedene Strategien anwenden, um die Qualität und Genauigkeit zu verbessern, wie das Festlegen einer Mindestwahrscheinlichkeit oder das Einholen von Rückmeldungen. Es ist wichtig, dass die KI ehrlich ist, wenn diese etwas nicht weiß oder kann, um Glaubwürdigkeit und Vertrauen zu stärken! Aber wer gibt schon Fehler zu?
ChatGPT hat keine gesunde menschliche Einschätzung darüber, ob es etwas weiß, oder nicht. Wenn es in dem riesigen Datensatz keine Informationen dazu findet, dann gibt es das zu, und wenn es etwas zusammenwürfeln kann, dann spuckt es das aus. Eine Wahrscheinlichkeit zu berechnen, wie sehr die Information tatsächlich stimmt, ist nicht so einfach.
Schlechte Vorgaben der Entwickler,
vermutlich wollen sie damit bezwecken das ihr Chatbot damit menschlicher wirkt.
frage ich mich schon länger, warum die Entwickler nicht eine Mindestanforderung für diese Wahrscheinlichkeit festlegen, also einen bestimmten Prozentsatz zu dem die Antwort mindestens stimmen muss.
Du verwechselst Sicherheit des nächsten Wortes, was zu dem Text davor passt, mit inhaltlicher Stimmigkeit. Die ganzen Modelle haben keinen Parameter, wie sicher sie sich sind, dass eine Erklärung passt, sondern nur für Tokens, die Sätze formen.