Czym jest FP8 i gdzie jest stosowany w treningu/inferencji?

FP8 to format liczb zmiennoprzecinkowych, który używa tylko 8 bitów do przechowywania wartości. Zazwyczaj składa się z 1 bitu znaku, kilku bitów na wykładnik i mantysę, ale dokładna struktura może się różnić.

W uczeniu maszynowym FP8 jest stosowany do optymalizacji obliczeń i zmniejszenia ilości pamięci, szczególnie podczas trenowania i inferencji dużych modeli, takich jak LLM (Duże Modele Językowe). Użycie FP8 pozwala przyspieszyć obliczenia i zmniejszyć zużycie energii, zachowując przy tym akceptowalną dokładność.

Zastosowanie FP8 jest szczególnie istotne w akceleratorach sprzętowych (np. GPU i TPU), gdzie obsługa niskiej precyzji pomaga zwiększyć przepustowość i efektywność.

Przykład: podczas trenowania sieci neuronowej można używać FP8 do przechowywania wag i aktywacji, co zmniejszy wymagania pamięciowe i przyspieszy operacje mnożenia macierzy.