PC Konfiguration für Deep Learning AI modell inferencing (llama 13b)?
Hallo, ich suche eine PC Konfiguration für AI Inferencing zum Beispiel (llama 13b). Als GPU habe ich mir die rtx 4090 rausgeschaut, gibt es da für ähnliche Leistung alternativen (bzw. Ist es sinnvoll auf rtx 5090 zu warten). Bei den anderen Komponenten bin ich mir auch nicht sicher
1 Antwort
Kommt auf dein Budget an. Wenn du eine 4090 willst dann hol dir eine gebrauchte nach Start der RTX50xxer Karten. LLMs sind anspruchsvoll. Eine 4090 wird dir locker reichen für llama 13b. Wenn dann lohnt nur eine RTX5090, der Rest ist schwächer als die 4090
Ich hab zB 2x 4090 in meinem PC (Ubuntu) und llama 70b lastet beide Karten zu je 60% und 250W aus und ist dann trotzdem nur ungefähr so schnell wie chatgpt in der cloud
Eine 4090, du wirst sehen dass gebrauchten im Preis stark sinken werden
Ok vielen Dank für die Antwort. Was häst du von deisen a 5000 bzw. a4000 die kann man ja im dual auch auf die Leistung von einer rtx 4090 bringen, gibt es dabei dann Vorteile oder lohnt sich dann eine einzelne 4090 eher?