Beste KI für Programmierung?
Guten Tag, ich bin auf der Suche nach der besten KI für Spieleentwicklung bzw. Programmierung. Grundsätzlich benutze bzw. Benutzte ich immer ChatGPT für Programmierung wie Scripts. Aber mittlerweile reicht es mir einfach mit dieser KI, sie war sonst immer sehr gut und brachte gute Antworten, aber mittlerweile habe ich den Eindruck, dass die Antworten immer schlechter werden und Probleme nicht mehr richtig löst. Deshalb wollte ich hier nachfragen, ob jemand von euch eine "deutlich" bessere oder gute KI für Programmierung kennt und auch komplexere Probleme lösen kann? Ich freue mich um jede Antwort.
4 Antworten
Dass die Ausgaben von ChatGPT schlechter werden ist unwahrscheinlich. Was du da beschreibst, hört sich eher nach einem eintretenden Gewöhnungseffekt bzw. abflachendem Shiny Object Syndrome an. Für wirklich komplexe Aufgaben sind LLMs einfach (noch) nicht gut genug. Die nächsten Wochen wird sehr wahrscheinlich GPT-4.5 und/oder Claude 3.5 Opus erwartet, die nochmal eine ganze Standardabweichung besser als aktuelle Modelle sein dürften.
Aktuell ist für die Softwareentwicklung aber Claude 3.5 Sonnet von Anthropic am besten, zumindest wenn man sich den HumanEval-Benchmark anschaut. Claude 3.5 Sonnet wird dort mit 92% eingestuft, GPT-4o mit 90,2%. OpenAI o1 und o1 mini sind auf selbigem Benchmark sogar noch etwas höher gerankt, allerdings aufgrund ihres Chain of Thought Verfahrens nicht für alle Probleme geeignet. Alles jeweils auf Python bezogen, die meisten anderen gängigen Programmiersprachen sind aber dahingehend ähnlich.
Wir verwenden derzeit hauptsächlich Cursor als Entwicklungsumgebung und dort die Auto Complete (ähnlich zu GitHub Copilot, nur tausendfach besser) und Chat-Funktion per Claude 3.5 Sonnet. Wenn Claude mit einer Anfrage nicht klar kommt bzw. die Anfrage von einem längeren Denkprozess profitieren könnte, probieren wir es statt dessen mit o1 mini (lässt sich auch über Cursor nutzen).
Claude 3.5 Sonnet lässt sich auch über das Web Interface von Claude nutzen. Das Pro-Abonnement kostet glaube ich ähnlich viel wie ChatGPT Plus. Ich würde als fortgeschrittener Nutzer aber dazu raten, die LLMs statt dessen per API zu nutzen und ein eigenes Web Interface, bspw. Open WebUI oder LibreChat, zu verwenden. Nicht nur ist die Abrechnung so nutzungsbasiert (und für die meisten Nutzer so weitaus günstiger als ein Abonnement bei einem oder gar mehreren der Anbieter), auch kann man für verschiedene Anwendungsfälle verschiedene Modelle nutzen und ist nicht auf einen Anbieter (bspw. OpenAI oder Anthropic) beschränkt.
Grundsätzlich profitieren LLMs aber aktuell sehr stark davon, wie gut die Prompt (sowohl System Prompt als auch User Prompt) ist, die man ihnen gibt. Es lohnt sich da also, ein wenig mit rum zu spielen und rauszufinden, was für einen selbst am besten funktioniert.
"Dass die Ausgaben von ChatGPT schlechter werden ist unwahrscheinlich.", diese Aussage stimmt das liegt daran, dass die Leute oft kryptische Nachrichten schreiben, da sie wissen das es die KI versteht, aber da ChatGPT lernfähig ist denkt es das kryptische Nachrichten normal sind und gibt auch deshalb immer schlechtere Antworten aus.
Das habe ich auch gemerkt, nicht nur bei ChatGPT, sondern auch bei anderen KIs, die tuhen wirklich so langsam immer schlechter verstehen was man eigentlich meint und formulieren Schlechter.
Nutze den JetBrains AI Assistant oder die lokale Completion und ChatGPT.
Beide versagen regelmäßig bei komplexeren Aufgaben/Fragen. Ich habe auch das Gefühl, dass ChatGPT teils ach lässt, aber fand es auch noch nie richtig gut. Z.B. hat es mir auch früher schon bei Go teils Dinge geliefert, die nicht mal vom Syntax her gepasst haben.
Der AI Assistant von JetBrains hat meiner Meinung nach die praktischsten Features bezüglich Doc Kommentare schreiben, Commit Messages schreiben, einfach die beste Integration in die IDE - bei GitHub CoPilot mit JetBrains Plugin fand ich die Integration schlecht und die Ergebnisse nicht wertvoller, als die lokale JetBrains Completion.
Für mich ist das KI Zeug entweder 1. smartere code completion für Dinge die ich selber schreiben könnte, oder 2. quasi das selbe was Stack Overflow auch ist, man holt sich Meinungen oder Hinweise auf Dinge die man eventuell nicht kennt, aber ob die Antworten dann immer so passen oder immer gut sind ist halt nicht gesichert.
Ich benutze "Microsoft Copilot" und "ChatGPT".
Manchmal benutze ich auch den "GitHub Copiloten".
==========
Das ChatGPT schlechter wird, stimmt das liegt daran, dass die Leute oft kryptische Nachrichten schreiben, da sie wissen das es die KI versteht, aber da ChatGPT lernfähig ist denkt es deshalb das kryptische Nachrichten normal sind und gibt auch deshalb immer schlechtere Antworten aus.
Das habe ich auch gemerkt, nicht nur bei ChatGPT, sondern auch bei anderen KIs, die tuhen wirklich so langsam immer schlechter verstehen was man eigentlich meint und formulieren Schlechter.
Ich nutze claude.ai und GitHub Copilot (aber ohne groß Fragen zu stellen).
Allerdings bezweifle ich, dass ChatGPT schlechter wird.
ChatGPT und auch claude.ai oder Github Copilot haben noch nie wirklich gute Antworten geliefert, wenn die Fragen mehr als ein Mindestmaß erfordert haben.
Vielleicht fällt dir das einfach mehr auf, als früher?
Keine KI ist (aktuell) geeignet, um wirklich zu programmieren. Kleinkram und einfache "Grüne Welt"-Geschichten gehen, aber bei komplexeren Dingen, ggf. auf Basis einer bestehenden Software, wird's schlagartig schlechter.
KI kann unterstützen, aber Du musst die richtigen Fragen stellen (was teilweise schwieriger ist, als das Programmieren selber) und Du musst die Antwort beurteilen und Anpassen können.
GPT ist nicht lernfähig - nicht eigenständig zumindest.
GPT und Co. werden vom Betreiber trainiert und nicht durch die Nutzer.
Es kann natürlich sein, dass sie die Nutzerdaten mit einbeziehen, aber sicher nicht ungefiltert.
Es gibt nur das Kontextfenster und das bezieht er mit ein, insofern entsteht über die Dauer des Chats die Illusion von Lernen, aber das ist wieder weg, sobald man einen neuen Chat öffnet. Ein langfristiger Lernprozess über das Kontextfenster hinaus findet nicht statt.
GPT und Claude Code (ggf. noch andere Modelle) haben auch eine Art Memory-Funktion, wo sie sich Informationen "merken" können. Aber auch das ist kein echtes Lernen, stattdessen schreibt die KI automatisch in einen dafür bereitgestellten Speicher und der wird für neue Chats automatisch als Kontext mitgegeben. Auch das erzeugt die Illusion von Lernen, ist es aber nicht.
Das ChatGPT schlechter wird, stimmt das liegt daran, dass die Leute oft kryptische Nachrichten schreiben, da sie wissen das es die KI versteht, aber da ChatGPT lernfähig ist denkt es das kryptische Nachrichten normal sind und gibt auch deshalb immer schlechtere Antworten aus.
Das habe ich auch gemerkt, nicht nur bei ChatGPT, sondern auch bei anderen KIs, die tuhen wirklich so langsam immer schlechter verstehen was man eigentlich meint und formulieren Schlechter.