Čo je self-distillation v CV?

Samodestilácia v počítačovom videní je metóda, pri ktorej sa rovnaký model používa ako učiteľ aj ako žiak. Myšlienka je, že sa model trénuje na vlastných predpovediach, čím sa zlepšuje kvalita bez potreby samostatného veľkého učiteľského modelu.

Príklad: najskôr sa model trénuje na označených dátach, potom generuje "mäkké" (soft labels) štítky pre tie isté alebo doplnkové dáta a znovu sa na nich trénuje, čo pomáha zlepšiť schopnosť generalizácie.

Toto pomáha zvýšiť presnosť a odolnosť modelu bez zväčšovania jeho veľkosti.