ChatGPT erfindet Antwort?
Ich habe ChatGPT 3.5 gestern einen Rechercheauftrag gegeben, bei dem es nach Unternehmen aus der Nähe suchen sollte, die keine oder eine veraltete Website haben.
Ich habe mir schon gedacht, dass ich daraus wahrscheinlich nicht wirklich hilfreiche Informationen gewinnen würde, weil es (insbesondere für 3.5) einfach zu komplex ist, wollte es aber trotzdem ausprobieren, da es mich einfach interessiert, wie weit die Fähigkeiten von ChatGPT schon reichen.
Jetzt habe ich die Unternehmen (insgesamt 10) aber Mal gegoogelt und festgestellt, das es kein einziges davon gibt. ChatGPT hat sich also nach meinen Vorgaben Unternehmen ausgedacht und daraus eine Liste geschrieben.
Ich habe mich darüber sehr gewundert und wüsste daher gerne, ob sowas öfter vorkommt bzw. ob ich beim Prompt einen Fehler gemacht habe, durch den das passiert ist. Ich denke nicht, dass das „normal“ ist, denn so sein soll es ja sicher nicht, oder??
Um welches Unternehmen handelt es sich denn? Und was hat ChatGPT geantwortet? Und was hast du in die Auftragszeile eingegeben?
Um 10 erfundene Unternehmen.
Der Prompt ist leider zu lang, um ihn hier reinzukopieren.
4 Antworten
Zum einen hat ChatGPT nur Informationen bis Ende 2021 und keinen direkten Internetzugriff. Es kann diese Informationen also gar nicht kennen. Zum anderen ist das ein bekanntes Phänomen. ChatGPT erfindet eher Informationen als zuzugeben, dass er sie nicht kennt. Das ist ein Phänomen das man in dem Zusammenhang "Halluzinieren" nennt.
Habe ich nicht ausprobiert, ich habe da Sicherheitsbedenken.
Der ändert auch gerne mal seine Meinung.
Ich fragte: "Wie groß ist die Entfernung von Boston nach Philadelphia im Land Brandenburg?"
(Die Orte gibt es wirklich, die muss man aber nicht kennen.)
ChatGPT: "Diese Frage ergibt keinen Sinn. Boston und Philadelphia liegen in den USA und Brandenburg ist ein Bundesland in Deutschland. Also gibt es keine Entfernung."
(aus dem Gedächtnis zitiert)
Also mich voll abgebürstet, aber ich hake nach: "Kennst Du den Ort Boston in Deutschland?"
Antwort: "Boston liegt im Bundesland Brandenburg nahe des Ortes ... Trotzdem ist Boston (Brandenburg) von Philadelphia (Pennsylvania) mehrere tausend Kilometer entfernt."
Aha, nun plötzlich doch.
Die Frage nach Philadelphia hat ChatGPT verneint, aber zugegeben, das es einen kleinen Ort dieses Namens geben könnte.
denn so sein soll es ja sicher nicht, oder?
Das Ausgeben von Schwachsinn ist für die meisten nicht das Ziel bei der Anwendung von ChatGPT. Und je weiter sich die Technik entwickelt, desto weniger Schwachsinn erhält man.
Oder, und das ist das Problem, der Schwachsinn ist so plausibel und subtil in einen Text eingewoben, dass man ihn einfach nicht erkennt.
Es ist daher anzuraten die Ergebnisse gut nachzuprüfen, so wie du es getan hast.
Hilft mir zwar kein bisschen, aber danke für die Bestätigung (?)
Ist leider Normal das sie sich Antworten zur Not "selber basteln"!!
Danke für die Auskunft. Mir war bewusst, dass ChatGPT 3.5 nur Infos bis 2021 hat, aber ehrlich gesagt nicht, dass Internetzugriff erst ab ChatGPT 4 „eingebaut“ ist. Was hälst du von der Browsererweiterung „WebChatGPT“? (Falls du damit Erfahrung hast)