Hoe vindt de kwaliteitsverbetering plaats bij het distilleren van een model door zichzelf?

Улучшение качества при дистилляции модели самой себя происходит за счет использования более «мягких» целевых меток (soft targets), которые содержат дополнительную информацию о вероятностях классов, а не только о правильном ответе. Это помогает модели лучше обобщать и учиться на тонких различиях между классами.

Кроме того, дистилляция позволяет модели учиться на собственных предсказаниях с некоторой степенью сглаживания, что снижает переобучение и улучшает устойчивость. В итоге модель становится более компактной и эффективной, сохраняя или даже улучшая качество по сравнению с исходной.