Wodurch verbessert sich die Qualität bei der Selbst-Distillation eines Modells?

Улучшение качества при дистилляции модели самой себя происходит за счет использования более «мягких» целевых меток (soft targets), которые содержат дополнительную информацию о вероятностях классов, а не только о правильном ответе. Это помогает модели лучше обобщать и учиться на тонких различиях между классами.

Кроме того, дистилляция позволяет модели учиться на собственных предсказаниях с некоторой степенью сглаживания, что снижает переобучение и улучшает устойчивость. В итоге модель становится более компактной и эффективной, сохраняя или даже улучшая качество по сравнению с исходной.