FP16 Datentyp - Was ist das?
Ich bin gerade dabei mich in LLM einzuarbeiten und bin gerade mit dem Begriff "FP16" im Zusammenhang mit Llama-2 70B konfrontiert worden, was so wie ich das verstanden habe ein Float-Datentyp mit halber Genauigkeit ist. Normalerweise besteht ja ein Float auf 4 Bytes bzw. 32 Bits und nach dem was ich verstanden hab ist Fp16 eine Fließkommazahl mit 2 Bytes bzw. 16 Bit. Da scheint es noch einen Zusammenhang zu IEEE-756 zu geben, den ich auch nicht so 100% verstanden habe.
Kann einer von euch mir da etwas helfen?
2 Antworten
Fließkomma mit 2 Bytes heißt, dass du etwa 3-4 gültige Stellen hast. Der Exponent geht von -14 bis 15, d.h. die größte positive darstellbare Zahl müsste um 30000, die kleinste positive bei ca 1/16000 also etwa 0,0000625 sein.
Danke für den Stern, aber bei KarlRanseiers Link stehen die richtigen Werte.
Wenn es Englisch sein darf:
https://en.wikipedia.org/wiki/Half-precision_floating-point_format
Man nennt das auch half precision.