Co je to self-distillation v CV?

Samodestilace ve strojovém vidění je metoda, při které je stejný model používán jak jako učitel, tak jako žák. Myšlenka je, že se model učí na vlastních předpovědích, zlepšuje kvalitu bez potřeby samostatného velkého učitelského modelu.

Příklad: nejprve je model trénován na označených datech, poté generuje "měkké" (soft labels) štítky pro stejná nebo doplňková data a znovu se na nich trénuje, což pomáhá zlepšit schopnost generalizace.

To pomáhá zvýšit přesnost a odolnost modelu bez zvětšení jeho velikosti.