Wie kann ich Local Docs in GPT4All optimal verwenden?
GTP4All läuft auf einem i9 mit 64GB Ram und einer 16GB Grafikkarte. Der Chat läuft damit gut. Was aber nicht besonders gut funktioniert, ist das Auslesen von lokalen Dokumenten.
Ich habe verschiedene Modelle zum Ausprobieren installiert.
Local Docs: Wenn ich z.b. 15 verschiedene pdfs verknüpfe, dann werden max. 3 gelesen und die auch nur zum Teil. Ich habe Verschiedenes ausprobiert: pdf in txt umgewandelt, gekürzt oder auch zu einer Datei verbunden. Klar, dass eine Auslesen auf eine bestimmte Wortanzahl oder auf Token begrenzt ist. Aber das ist zur Zeit wenig an Ergebnis. Eher entäuschend.
Die Infos über GPT4all sind rar, besonders wenns ums Eingemachte geht. Nun habe ich gelesen, dass man ein LocalDocs text embeddings model installieren muss. Aber so einfach funktioniert diese Installation nicht. Runterladen ist ja kein Problem aber dieses Einbettungsmodel muss irgendwie integriert werden. Falls das nur mit Python geht, muss ich erst noch ein wenig üben.
Kann mir jemand mit Tipps helfen?
(Es gibt hier nicht einmal Tags für KI oder GTP4All)