Что такое дистилляция?

Дистилляция (knowledge distillation) — это метод в машинном обучении, при котором знания из большой, сложной модели (учителя) передаются в более компактную и быструю модель (ученика). Цель — сохранить высокую точность при уменьшении размера и вычислительных затрат модели.

Процесс обычно включает обучение ученика на выходах учителя (например, на вероятностях классов), а не только на исходных метках. Это помогает ученику лучше обобщать и приближать поведение учителя.

Пример применения: большая нейросеть обучается на большом наборе данных, затем её знания дистиллируются в маленькую модель, которую можно использовать на мобильных устройствах с ограниченными ресурсами.