Was ist FP8 und wo wird es beim Training/Inference eingesetzt?

FP8 ist ein Format für Gleitkommazahlen, das nur 8 Bits zur Speicherung des Werts verwendet. Es besteht in der Regel aus 1 Bit für das Vorzeichen, mehreren Bits für den Exponenten und die Mantisse, aber die genaue Struktur kann variieren.

Im maschinellen Lernen wird FP8 zur Optimierung von Berechnungen und zur Verringerung des Speichervolumens verwendet, insbesondere beim Training und bei der Inferenz großer Modelle wie LLM (Große Sprachmodelle). Die Verwendung von FP8 ermöglicht eine Beschleunigung der Berechnungen und eine Reduzierung des Energieverbrauchs, bei gleichzeitiger Beibehaltung einer akzeptablen Genauigkeit.

Die Verwendung von FP8 ist besonders relevant in Hardware-Beschleunigern (z.B. GPU und TPU), wo die Unterstützung niedriger Genauigkeit dazu beiträgt, die Bandbreite und Effizienz zu erhöhen.

Beispiel: Beim Training eines neuronalen Netzwerks kann FP8 zur Speicherung von Gewichten und Aktivierungen verwendet werden, was die Speicheranforderungen reduziert und die Matrixmultiplikationsoperationen beschleunigt.