Was sind DINO und DINO-v2?

DINO (Distillation ohne Labels) und DINO-v2 sind Methoden des selbstüberwachten Lernens im Bereich der Computer Vision, basierend auf Transformatoren und Convolutional Neural Networks.

DINO ist ein Ansatz, bei dem das Modell lernt, nützliche Darstellungen aus Bildern zu extrahieren, ohne gelabelte Daten zu verwenden. Die Hauptidee ist die Verwendung von zwei neuronalen Netzwerken (Schüler und Lehrer), wobei der Lehrer durch einen exponentiellen gleitenden Durchschnitt der Parameter des Schülers aktualisiert wird. Das Modell lernt, verschiedene Augmentationen desselben Bildes zuzuordnen, was es ihm ermöglicht, stabile und informative Merkmale zu bilden.

DINO-v2 ist eine verbesserte Version von DINO, die die Fähigkeiten und die Qualität der Merkmalsextraktion erweitert. Es verwendet leistungsstärkere Architekturen und Optimierungen, um bessere Ergebnisse bei Klassifizierungs-, Segmentierungs- und Ähnlichkeitssuchaufgaben zu erzielen.

Beide Methoden werden häufig für das Vortraining von Modellen verwendet, die anschließend für spezifische Aufgaben mit weniger gelabelten Daten feinabgestimmt werden können.