Nun ChatGPT kann nicht programmieren oder würde die Programmierung verstehen. ChatGPT hat kein Verständnis oder Wissen, sondern nur Statistik über Wissen und probiert daraus was zu machen.
Je nach Modell, Trainingsdaten oder Systemprompts und Code außen rum, der Missbrauch verhindern soll, funktioniert das quasi mal mehr, mal weniger gut.
Du kannst entweder zu anderen Modellen greifen, keine Ahnung in wie weit man bei ChatGPT auf das ältere Modell schalten kann ODER deine Prompts entsprechend anpassen.
ChatGPT und alle anderen probieren eben auch da zu optimieren, so dass die gleichen Prompts nach einiger Zeit dann nicht mehr so gut klappen, dafür andere, die ggf. häufiger genutzt werden besser klappen. Man optimiert eben auf die große User-Base, nicht auf dich.
Ich habe aus den KIs noch nie wirklich Sinnvolles raus bekommen. Gerade wenn man nicht irgendwas will, sondern eine gewisse Vorstellung hat oder Details wichtig sind, dreht man sich mit den Modellen im Kreis, während sie den letzten Schwachsinn zusammenfantasieren.
Da werden verschiedene Sprachen gemischt und quasi On-The-Fly neue Programmiersprachen zusammenfantasiert, neue Sprach-Konstrukte hinzugefügt oder eben einfach syntaktisch falscher Code erstellt. Auf das Inhaltliche brauch man da gar nicht erst eingehen.
Ggf. schön und toll, wenn man eine ToDo App in JavaScript will, sprich etwas, was so ca. fünf Millionen mal in den Trainingsdaten des Models ist. Für mehr als simple Greenfield Projekte sinkt der Benefit aber massiv.
Und natürlich muss man verstehen was raus kommt, was falsch dran ist oder richtig, was man dem Model sagen muss, was es ändern soll usw. Das geht natürlich schwer, wenn man selbst nicht programmieren kann.
Du sagst quasi einen Modell es soll anhand der Statistik eine Lösung "raten" und kannst nicht verifizieren, ob es richtig ist.