Cosa sono DINO e DINO-v2?

DINO (Distillazione senza etichette) e DINO-v2 sono metodi di autoapprendimento nel campo della visione artificiale, basati su trasformatori e reti neurali convoluzionali.

DINO è un approccio in cui il modello impara a estrarre rappresentazioni utili dalle immagini senza utilizzare dati etichettati. L'idea principale è usare due reti neurali (studente e insegnante), dove l'insegnante viene aggiornato tramite una media mobile esponenziale dei parametri dello studente. Il modello impara ad associare diverse augmentazioni della stessa immagine, permettendogli di formare caratteristiche stabili e informative.

DINO-v2 è una versione migliorata di DINO, che amplia le capacità e la qualità di estrazione delle caratteristiche. Utilizza architetture e ottimizzazioni più potenti, raggiungendo risultati migliori in compiti di classificazione, segmentazione e ricerca di immagini simili.

Entrambi i metodi sono ampiamente usati per il pre-addestramento di modelli, che poi possono essere ulteriormente adattati a compiti specifici con meno dati etichettati.