O que é FP8 e onde é utilizado no treino/inferência?

FP8 é um formato de números de ponto flutuante que utiliza apenas 8 bits para armazenar o valor. Normalmente consiste em 1 bit de sinal, vários bits para o expoente e a mantissa, mas a estrutura exata pode variar.

No aprendizado de máquina, o FP8 é usado para otimizar cálculos e reduzir o volume de memória, especialmente ao treinar e inferir grandes modelos, como os LLM (Modelos de Linguagem de Grande Porte). O uso de FP8 permite acelerar os cálculos e reduzir o consumo de energia, mantendo uma precisão aceitável.

O uso de FP8 é particularmente relevante em aceleradores de hardware (por exemplo, GPU e TPU), onde o suporte para baixa precisão ajuda a aumentar a largura de banda e a eficiência.

Exemplo: ao treinar uma rede neural, pode-se usar FP8 para armazenar pesos e ativações, o que reduzirá os requisitos de memória e acelerará as operações de multiplicação de matrizes.