Wie es möglich von ChatGPT generierte Texte bei einer VWA zu erkennen?
Ich beschäftige mich zurzeit mit AI und dem Aufdecken von AI generierten Texten, da ich nun Lehrerin an einer AHS bin und ChatGPT nun auch zum Schreiben von VWAs benutzt wird.
Nun habe ich um AI-Scanner Tools (GPTZero, Crossplag usw.) zu testen, Textstellen von meiner 2017 verfassten VWA (Note Gut) genommen und durch die Scanner laufen lassen. Ergebnis: fast alle Textstellen wurden als vermeintlich von AI verfasst erkannt, was nicht sein kann, da ja die Arbeit selber verfasst habe und es 2017 so etwas noch nicht gab. Meine Vermutung liegt, dass bei einem wissenschaftlichen Schreibstil eine Unterscheidung zwischen menschlichen & AI-generierten Texten nicht möglich ist.
Nun zu meiner Frage: Wie sollen wir Lehrkräfte, nun erkennen, ob ein Text bei einer vorwissenschaftlichen Arbeit von einer AI verfasst wurde?
4 Antworten
GPT3 ist in seiner Form sehr stark Menschen ähnlich und so gut wie nicht zu unterscheiden.
Lediglich durch blockieren einiger Inhalte zu denen sich die KI nicht äußern soll ist der Unterschied im direkten Chat zu beurteilen oder auf andere direkte Fragen.
Bei dem Verfassen von Texten ist dies nicht mehr nachvollziehbar, da der Fragesteller die KI ausreizen kann, es einfacher zu erklären. So wird dann ein Wissenschaftlicher Text sehr menschlich.
Dies wurde in verschiedenen Versuchen bereits erprobt, unter anderem für die Programmierung oder für die Erstellung ganzer Websites.
Und GPT3 ist noch nicht einmal auf voller Leistung. Für die Zukunft wird es also noch schwieriger zu unterscheiden.
Einen normalen Algorithmus darüber laufen zu lassen ist ungefähr so genau, wie die Unterscheidung von Reis Sorten als Nudelfan.
Naja wenn du den Schüler kennst und dessen schreibstil wirst du das vermutlich selbst erkennen können, auch bei wissenschaftlichen Arbeiten.
Allgemein gibt es bei wissenschaftlichen Texten aber keine zuverlässige Möglichkeit das zu erkennen. Eine Möglichkeit das zu erkennen wäre eine einfache Plagiatsprüfung. Chat GPT zitiert an sich die Textstellen nicht korrekt, womit inkonsistente oder fehlende Quellenangaben ein Hinweis sein können.
Selbst wenn es nicht bei der Plagiatsprüfung auffällt wird die Chat GPT meistens einfach nur eine Antwort ohne Quelle geben, womit nicht nachvollziehbare Behauptungen in der Arbeit auch ein Hinweis sein können, dass der Text so verfasst wurde.
Prinzipiell ist es in dem Sinne aber egal, denn egal ob Chat GPT verwendet wurde oder die Quellenangaben einfach so fehlen ist das nicht zulässig, womit entsprechend zitiert werden muss.
Hat der Schüler die Arbeit selbst gemacht wird er vermutlich die Arbeiten auf welche seine Behauptungen fußen auch kennen und entsprechend gelesen haben womit das nachziehen von Quellenangaben hier kein Problem sein sollte. Stammt die Antwort hingegen von einer KI und der Schüler hat keine Ahnung wird das entsprechend schwer für ihn werden hier den Text entsprechend mit Quellen zu versehen.
Eine weitere Möglichkeit ist auch die Präsentation der Ergebnisse der Arbeit mit nachfragen, so wie es im Endeffekt beim Bac an einer Universität auch ist. Wenn man da einfach blank ist und seine eigene Arbeit nicht kennt hat man sie vermutlich auch nicht verfasst.
Ein weiterer Anhaltspunkt den du so aber noch nicht verwerten kannst ist wenn der Schüler sofort einen Text in wissenschaftlicher Sprache verfasst. Die Meisten machen das nicht gleich sondern verwenden mehr oder minder umgangssprachliche oder unpräzise Ausdrücke wie, viele wenige usw. das würde eine KI die so eine Arbeit verfasst nicht machen, womit das vorhanden sein solcher Ausdrücke ein anhalt sein kann, dass der Text selbst verfasst wurde.
Also selbst einen perfekten Text kann man als Indiz annehmen unter der Prämisse dass die Personen vermutlich nicht beim ersten anhieb gleich so eine perfekte Arbeit abliefern.
Was hilfreich sein kann, besonders auf Quellen und Verweise zu achten, denn die sind häufig falsch. Unter anderem wird auf Texte verwiesen, die es gar nicht gibt.
Hallo, bei ChatGPT erkenne ich es im Moment nur dadurch, dass die Kiddings in meiner Unterrichtszeit Texte selbst Verfassen (-> relativ viele). Den Schreibstil kann man sehr gut abgleichen mit dem Schreibstil von KIs und bis auf zwei Ausnahmen war der Stil der Schüler stark anders als der der KI.
Ich glaube, dass die Scannertools nicht gut waren.