Wat is self-distillation in CV?

Zelf-distillatie in computervisie is een methode waarbij hetzelfde model wordt gebruikt als zowel leraar als leerling. Het idee is dat het model wordt getraind op zijn eigen voorspellingen, waardoor de kwaliteit verbetert zonder dat er een apart groot leraar-model nodig is.

Voorbeeld: eerst wordt het model getraind op gelabelde gegevens, daarna genereert het "zachte" labels (soft labels) voor dezelfde of aanvullende gegevens, en wordt opnieuw getraind op deze labels, wat helpt om de generalisatiecapaciteit te verbeteren.

Dit helpt om de nauwkeurigheid en robuustheid van het model te verhogen zonder de grootte ervan te vergroten.