Perché avviene il miglioramento della qualità durante la distillazione di un modello stesso?

Улучшение качества при дистилляции модели самой себя происходит за счет использования более «мягких» целевых меток (soft targets), которые содержат дополнительную информацию о вероятностях классов, а не только о правильном ответе. Это помогает модели лучше обобщать и учиться на тонких различиях между классами.

Кроме того, дистилляция позволяет модели учиться на собственных предсказаниях с некоторой степенью сглаживания, что снижает переобучение и улучшает устойчивость. В итоге модель становится более компактной и эффективной, сохраняя или даже улучшая качество по сравнению с исходной.