Cos'è la auto-distillazione in CV?

L'auto-distillazione nella visione artificiale è un metodo in cui lo stesso modello viene utilizzato sia come insegnante che come studente. L'idea è che il modello si addestra sulle proprie previsioni, migliorando la qualità senza la necessità di un grande modello insegnante separato.

Esempio: prima, il modello viene addestrato su dati annotati, poi genera etichette "morbide" (soft labels) per gli stessi dati o dati aggiuntivi, e si riaddestra su queste etichette, aiutando a migliorare la capacità di generalizzazione.

Questo aiuta a aumentare la precisione e la robustezza del modello senza aumentarne la dimensione.