Šta je self-distillation u CV?

Самодестилација у компјутерском виду је метода у којој се исти модел користи као и учитељ и као ученик. Идеја је да се модел обучава на својим предвиђањима, побољшавајући квалитет без потребе за посебним великим учитељским моделом.

Пример: прво се модел обучава на означеним подацима, затим генерише "меке" (soft labels) етикете за исте или додатне податке, и поново се обучава на тим етикетама, што помаже у побољшању способности генерализације.

Ово помаже у повећању прецизности и стабилности модела без повећања његове величине.