Расскажи про дистилляцию моделей.

Дистилляция моделей — это метод уменьшения размера и сложности большой, мощной модели (учителя) путём передачи её знаний в более компактную модель (ученика). Цель — сохранить высокую точность при меньших вычислительных затратах.

Основная идея:

• Большая модель обучается на данных и формирует сложные представления.
• Модель ученика обучается не только на исходных метках, но и на «мягких» выходах модели учителя (вероятностях классов), которые содержат дополнительную информацию о распределении.

Пример:

# Псевдокод дистилляции
for input, label in dataset:
    teacher_output = teacher_model(input)
    student_output = student_model(input)
    loss = alpha * cross_entropy(student_output, label) + \
           (1 - alpha) * distillation_loss(student_output, teacher_output)
    optimize(loss)

Здесь distillation_loss — обычно это Kullback-Leibler дивергенция между выходами учителя и ученика.

Дистилляция помогает применять модели в ограниченных по ресурсам средах, сохраняя при этом качество.