¿Qué es FP8 y dónde se aplica en entrenamiento/inferencia?

FP8 es un formato de números de punto flotante que utiliza solo 8 bits para almacenar el valor. Normalmente consta de 1 bit de signo, varios bits para el exponente y la mantisa, pero la estructura exacta puede variar.

En el aprendizaje automático, FP8 se utiliza para optimizar cálculos y reducir el volumen de memoria, especialmente al entrenar e inferir modelos grandes, como los LLM (Modelos de Lenguaje Grande). El uso de FP8 permite acelerar los cálculos y reducir el consumo de energía, manteniendo una precisión aceptable.

El uso de FP8 es especialmente relevante en aceleradores de hardware (por ejemplo, GPU y TPU), donde el soporte para baja precisión ayuda a aumentar el ancho de banda y la eficiencia.

Ejemplo: al entrenar una red neuronal, se puede usar FP8 para almacenar pesos y activaciones, lo que reducirá los requisitos de memoria y acelerará las operaciones de multiplicación de matrices.