Qu'est-ce que la distillation auto en CV?

La distillation auto-enseignée en vision par ordinateur est une méthode où un même modèle est utilisé à la fois comme enseignant et comme élève. L'idée est que le modèle s'entraîne sur ses propres prédictions, améliorant la qualité sans nécessiter un grand modèle enseignant séparé.

Exemple : d'abord, le modèle s'entraîne sur des données annotées, puis il génère des étiquettes "molles" (soft labels) pour ces mêmes données ou des données supplémentaires, et s'entraîne à nouveau sur ces étiquettes, ce qui aide à améliorer la capacité de généralisation.

Cela aide à augmenter la précision et la robustesse du modèle sans augmenter sa taille.