Что хотят услышать интервьюеры:

Нужно показать, что размер модели можно уменьшать не только за счёт “сжатия весов”, но и через архитектурные и инженерные приёмы. Обычно ожидают понимание компромисса между памятью, скоростью и качеством. Важно уметь назвать основные техники и объяснить, когда какая из них уместна.

Определение:

Уменьшение размера модели при сохранении качества — это набор методов, которые сокращают объём параметров, памяти и/или вычислений без заметной потери метрик на целевой задаче. Цель — сделать модель дешевле в хранении и быстрее в инференсе, сохранив приемлемую точность. На практике чаще всего используют дистилляцию, квантизацию, pruning, облегчённые архитектуры и факторизацию параметров.

Пример использования:

Например, большая языковая или CV-модель хорошо работает в обучении, но слишком тяжёлая для продакшена на CPU или edge-устройстве. Тогда можно обучить компактную student-модель по логитам teacher-модели, затем дополнительно применить квантизацию до lower precision и убрать часть неважных весов.

# Идея процесса, без привязки к конкретной библиотеке:
# 1. Обучаем большую teacher-модель
# 2. Обучаем compact student на её предсказаниях
# 3. Проводим pruning
# 4. Квантизуем веса для ускорения и уменьшения памяти

teacher = train_large_model(train_data)
soft_targets = teacher.predict_proba(train_data)

student = train_small_model(train_data, soft_targets)
student = prune_unimportant_weights(student)
student = quantize_model(student, dtype="int8")

Пояснение кода:

Код показывает типичный пайплайн сжатия модели.

Сначала обучается большая и более точная teacher-модель.
Затем создаются “мягкие” таргеты — не только правильный класс, но и распределение вероятностей, которое несёт больше информации.
student-модель учится воспроизводить поведение teacher, обычно будучи заметно меньше по размеру.
prune_unimportant_weights удаляет или зануляет веса с наименьшим вкладом.
quantize_model переводит веса из более точного формата в более компактный, например из float32 в int8, что уменьшает память и часто ускоряет инференс.

Ключевые моменты:

Knowledge distillation — один из лучших способов сильно уменьшить модель при умеренной потере качества.
Quantization уменьшает размер и часто ускоряет инференс, особенно на CPU и мобильных устройствах.
Pruning помогает убрать избыточные параметры, но требует аккуратной донастройки после удаления весов.
Lightweight architectures вроде MobileNet-подобных решений часто эффективнее, чем “сжимать” слишком тяжёлую исходную модель.
Low-rank factorization / parameter sharing полезны, когда нужно уменьшить число параметров без радикальной смены подхода.
На практике лучший результат даёт комбинация методов: дистилляция + квантизация + дообучение после сжатия.

Какие способы уменьшения размера модели при сохранении качества существуют?