Ich kann die Software GPT4All empfehlen. Dort kannst du verschiedene LLMs lokal auf deiner CPU oder, noch besser, auf deiner GPU hosten. In der Anwendung kannst du durch eine Auswahl an LLMs browsen und sie direkt installieren.