Чем INT8 квантизация отличается от INT4?

INT8 и INT4 квантизация — это методы уменьшения размера и вычислительной нагрузки моделей машинного обучения за счёт снижения точности представления весов и активаций.

• INT8 квантизация использует 8-битные целочисленные значения для представления параметров. Это позволяет сохранить достаточно хорошее качество модели при значительном уменьшении размера (примерно в 4 раза по сравнению с 32-битным float) и ускорить вычисления на поддерживающем оборудовании.

• INT4 квантизация ещё более агрессивна — параметры кодируются 4-битными значениями, что уменьшает размер модели примерно в 8 раз. Однако это часто приводит к большей потере точности и требует более сложных техник компенсации ошибок (например, калибровки, смешанной точности).

Пример: если вес в float32 занимает 4 байта, то в INT8 — 1 байт, а в INT4 — 0.5 байта.

Выбор между INT8 и INT4 зависит от требований к компромиссу между скоростью, размером модели и точностью. INT8 — более универсален и широко поддерживается, INT4 — более экспериментален и требует аккуратной настройки.