Что такое квантизация в машинном обучении? Как происходит квантизация из FP32 в INT8 — из числа с плавающей точкой в целочисленное?

Квантизация в машинном обучении — это процесс преобразования чисел с плавающей точкой (обычно FP32) в числа с меньшей разрядностью, например, в целочисленные INT8. Это позволяет уменьшить размер модели и ускорить вычисления, особенно на устройствах с ограниченными ресурсами.

При квантизации из FP32 в INT8 происходит масштабирование и смещение значений:

1. Определяется диапазон значений тензора (например, минимальное и максимальное значение).
2. Вычисляется масштаб (scale) — коэффициент, который связывает диапазон FP32 с диапазоном INT8 (обычно от -128 до 127).
3. Определяется смещение (zero-point), чтобы правильно отобразить нулевое значение FP32 в INT8.
4. Каждое значение FP32 преобразуется по формуле:

INT8_value = round(FP32_value / scale) + zero_point

5. При обратном преобразовании (де-квантизации) используется:

FP32_value = scale * (INT8_value - zero_point)

Таким образом, квантизация сохраняет приближённое значение исходных данных, но с меньшим размером и более простой арифметикой.