Qu'est-ce que DINO et DINO-v2 ?

DINO (Distillation sans étiquettes) et DINO-v2 sont des méthodes d'apprentissage auto-supervisé dans le domaine de la vision par ordinateur, basées sur des transformateurs et des réseaux neuronaux convolutifs.

DINO est une approche où le modèle apprend à extraire des représentations utiles à partir d'images sans utiliser de données annotées. L'idée principale est d'utiliser deux réseaux neuronaux (étudiant et enseignant), où l'enseignant est mis à jour par une moyenne mobile exponentielle des paramètres de l'étudiant. Le modèle apprend à associer différentes augmentations d'une même image, ce qui lui permet de former des caractéristiques stables et informatives.

DINO-v2 est une version améliorée de DINO, qui étend les capacités et la qualité d'extraction des caractéristiques. Elle utilise des architectures et des optimisations plus puissantes, permettant d'obtenir de meilleurs résultats dans les tâches de classification, segmentation et recherche d'images similaires.

Les deux méthodes sont largement utilisées pour le pré-entraînement de modèles, qui peuvent ensuite être ajustés pour des tâches spécifiques avec moins de données annotées.