Ce este auto-distilarea în CV?

Auto-distilarea în viziunea computerizată este o metodă în care același model este folosit atât ca profesor, cât și ca elev. Ideea este ca modelul să fie antrenat pe propriile sale predicții, îmbunătățind calitatea fără a fi nevoie de un model mare de profesor separat.

Exemplu: mai întâi, modelul este antrenat pe date etichetate, apoi generează etichete "moale" (soft labels) pentru aceleași date sau pentru date suplimentare, și se reantrenează pe aceste etichete, ceea ce ajută la îmbunătățirea capacității de generalizare.

Acest lucru ajută la creșterea acurateței și robusteței modelului fără a-i crește dimensiunea.