Was am PC beansprucht AI / KI am meisten?

3 Antworten

Die Internetverbindung.

Ohne geht wohl (noch) nichts.

EinTyppie  18.10.2023, 19:46
Die Internetverbindung.

??? ne? Wenn du ne KI auf ner Internetseite benutzt, wird garnix von meinem PC beansprucht. Hier gehts um KI Tools die lokal auf deinem PC laufen....also CPU und GPU benutzt wird. Und klar kann man KI ohne Internet benutzen?? du kannst auch ein ganzes ChatGPT Modell Lokal laufen lassen, wenn du die hardware dafür hast, AKA ne moderne grafikkarte

0

Kommt auf das Tool an. Aber im meisten Fall wird die GPU am meisten benutzt.

Ich denke du brauchst einen richtig massiven Arbeitsspeicher damit du halbwegs solide ein LLM oder sonstiges betreiben kannst

leonpetersen83 
Fragesteller
 18.10.2023, 03:17

Heißt mindestens 32?

0
EinTyppie  18.10.2023, 19:47
@leonpetersen83

Nein. GPU RAM, also VRAM. Der normale RAM is relativ irrelevant beim kompletten Modell. Sowas wie ein LLM Modell braucht massig VRAM, 12 GB oder mehr

0
EinTyppie  18.10.2023, 20:19
@MipiPann

Äh nö...besonders nicht wenn du ein LLM auf der GPU trainierst

1
MipiPann  18.10.2023, 20:33
@EinTyppie

Äh im Normalfall schon, kann man aber bei LLMs nicht sagen da es hunderte Techniken gibt was und wie man was utilarisiert und täglich neue papers dazu rausgewichst werden aber für den normalen Consumer Bereich wirst du recht haben.

0
EinTyppie  18.10.2023, 19:47
Ich denke du brauchst einen richtig massiven Arbeitsspeicher

VRAM..nicht normalen RAM. Deine Grafikkarte braucht massig VRAM

0