Что такое FP8 и где он применяется в обучении/инференсе?

FP8 — это формат чисел с плавающей точкой, использующий всего 8 бит для хранения значения. Обычно он состоит из 1 бита знака, нескольких битов для экспоненты и мантиссы, но точная структура может варьироваться.

В машинном обучении FP8 применяется для оптимизации вычислений и уменьшения объёма памяти, особенно при обучении и инференсе больших моделей, таких как LLM (Large Language Models). Использование FP8 позволяет ускорить вычисления и снизить энергопотребление, сохраняя при этом приемлемую точность.

Применение FP8 особенно актуально в аппаратных ускорителях (например, GPU и TPU), где поддержка низкой точности помогает повысить пропускную способность и эффективность.

Пример: при обучении нейросети можно использовать FP8 для хранения весов и активаций, что уменьшит требования к памяти и ускорит операции матричного умножения.