Что такое self-distillation в CV?

Self-distillation в компьютерном зрении — это метод, при котором одна и та же модель используется и как учитель, и как ученик. Идея в том, что модель обучается на собственных предсказаниях, улучшая качество без необходимости в отдельной большой модели-учителе.

Пример: сначала модель обучается на размеченных данных, затем она генерирует «мягкие» метки (soft labels) для тех же данных или дополнительных, и повторно обучается на этих метках, что помогает улучшить обобщающую способность.

Это помогает повысить точность и устойчивость модели без увеличения её размера.