За счет чего происходит улучшение качества при дистилляции модели самой себя?

Улучшение качества при дистилляции модели самой себя происходит за счет использования более «мягких» целевых меток (soft targets), которые содержат дополнительную информацию о вероятностях классов, а не только о правильном ответе. Это помогает модели лучше обобщать и учиться на тонких различиях между классами.

Кроме того, дистилляция позволяет модели учиться на собственных предсказаниях с некоторой степенью сглаживания, что снижает переобучение и улучшает устойчивость. В итоге модель становится более компактной и эффективной, сохраняя или даже улучшая качество по сравнению с исходной.