Stable Beluga hängt sich nach zu vielen Eingaben auf. Was kann ich tun?

Guten Tag meine Damen und Herren.

Ich habe schon seit fast einem halben Jahr, mit selbst gehosteten LLMs zu tun und wollte gestern map etwas neues ausprobieren. Und zwar habe ich mir StableBeluga-7B geholt, da es kleiner ist und deshalb schnell Antworten generiert. Diese Antworten sind dann zwar nicht so präzise wie bei StableBeluga-13B oder StableBeluga2, aber in meinem Versuch geht es in erster Linie um Geschwindigkeit und der Unterschied in den Antworten ist auch nicht so groß.

Also kommen wir zur Frage. Stable Beluga 7B läuft eigentlich ganz gut, aber wenn ich zu lange mit dem LLM schreibe, oder zu viele Fragen gestellt habe, ich weiß nicht genau woran es liegt, gibt mir die KI nur noch den ersten Buchstaben der Antwort aus, beendet den Antwortprozess und wartet auf die nächste Eingabe des Benutzers(also ich). Sobald ich den Chat löschen, und eine neue Unterhaltung starte, ist das Problem sofort wieder weg, kommt allerdings unter den bereits beschriebenen Umständen wieder. Es kommt KEINE Fehlermeldung.

Das wäre ja auch eigentlich nicht so schlimm. Aber das Problem an der Sache ist, das das LLM sich im neuen Chat logischerweise nicht mehr auf die vorherige unterhaltung beziehen kann, was besonders bei Problem Lösungs Diskussionen Z.B. "wie kann ich das Problem --- an meinem Computer lösen" wichtig ist, denn StableBeluga läuft Offline und weiß nur dass, was man ihm mal erzählt hat. Wenn ich jetzt also den Chat Verlauf, in dem ich bereits viel über Z.B. Computer geredet habe, lösche, weiß StableBeluga nahezu nichts mehr über in diesem Beispiel Computer.

Ich benutze LLMs also nicht, um mir Arbeit beim denken abzunehmen, sondern um das, was ich schon weiß oder neu lernen, zu sortieren und wenn ich es brauche ohne aufwand geordnet abzurufen und mich genau an das Wissen zu erinnern, das ich zum Beispiel mal wusste, aber wieder vergessen habe.

Mein System:

Intel Core i7-13700K (war ein Upgrade, falls jemand auf den bottleneck zur 3050 aufmerksam machen will)

GeForce RTX 3050 (8GB VRAM)

16GB DDR4 3200MHz RAM

Debian Linux

Weiß jemand eine Lösung.

Ich weiß eine Lösung und zwar... 0%
Ich habe das gleiche Problem. 0%
Mir fehlen noch Informationen und zwar... 0%
Software, Linux, künstliche Intelligenz

Meistgelesene Fragen zum Thema Linux