FP8 nedir ve eğitim/tahmin sırasında nerede kullanılır?

FP8, değeri depolamak için yalnızca 8 bit kullanan bir kayan nokta formatıdır. Genellikle 1 bit işaret, birkaç bit exponans ve mantisadan oluşur, ancak tam yapı değişebilir.

Makine öğreniminde, FP8 hesaplamaları optimize etmek ve bellek hacmini azaltmak için kullanılır, özellikle büyük modellerin eğitimi ve çıkarımı sırasında, örneğin LLM (Büyük Dil Modelleri). FP8 kullanımı, hesaplamaları hızlandırmaya ve enerji tüketimini azaltmaya olanak tanır, aynı zamanda kabul edilebilir bir doğruluk sağlar.

FP8 kullanımı, düşük hassasiyeti destekleyen GPU ve TPU gibi donanım hızlandırıcılarında özellikle önemlidir, bu da bant genişliğini ve verimliliği artırmaya yardımcı olur.

Örnek: Bir sinir ağını eğitirken, ağırlıkları ve aktivasyonları depolamak için FP8 kullanılabilir, bu da bellek gereksinimlerini azaltır ve matris çarpma işlemlerini hızlandırır.