Какво е FP8 и къде се използва при обучение/инференция?

FP8 е формат за числа с плаваща точка, който използва само 8 бита за съхранение на стойността. Обикновено се състои от 1 бит знак, няколко бита за експонента и мантисата, но точната структура може да варира.

В машинното обучение FP8 се използва за оптимизация на изчисленията и намаляване на обема на паметта, особено при обучението и инференса на големи модели като LLM (Големи езикови модели). Използването на FP8 позволява ускоряване на изчисленията и намаляване на енергопотреблението, като същевременно се запазва приемлива точност.

Използването на FP8 е особено важно в хардуерните ускорители (например, GPU и TPU), където поддръжката за ниска точност помага за увеличаване на пропускателната способност и ефективността.

Пример: при обучението на невронна мрежа може да се използва FP8 за съхранение на теглата и активиранията, което ще намали изискванията към паметта и ще ускори операциите по умножение на матрици.