Comment l'amélioration de la qualité se produit-elle lors de la distillation d'un modèle par lui-même?

Улучшение качества при дистилляции модели самой себя происходит за счет использования более «мягких» целевых меток (soft targets), которые содержат дополнительную информацию о вероятностях классов, а не только о правильном ответе. Это помогает модели лучше обобщать и учиться на тонких различиях между классами.

Кроме того, дистилляция позволяет модели учиться на собственных предсказаниях с некоторой степенью сглаживания, что снижает переобучение и улучшает устойчивость. В итоге модель становится более компактной и эффективной, сохраняя или даже улучшая качество по сравнению с исходной.