Czym są DINO i DINO-v2?

DINO (Destylacja bez etykiet) i DINO-v2 to metody samouczesnego uczenia się w dziedzinie wizji komputerowej, oparte na transformatorach i konwolucyjnych sieciach neuronowych.

DINO to podejście, w którym model uczy się wyodrębniać przydatne reprezentacje z obrazów bez użycia danych oznaczonych. Główną ideą jest użycie dwóch sieci neuronowych (uczeń i nauczyciel), gdzie nauczyciel jest aktualizowany za pomocą wykładniczej średniej ruchomej parametrów ucznia. Model uczy się dopasowywać różne augmentacje tego samego obrazu, co pozwala mu tworzyć stabilne i informacyjne cechy.

DINO-v2 to ulepszona wersja DINO, która rozszerza możliwości i jakość wyodrębniania cech. Wykorzystuje bardziej zaawansowane architektury i optymalizacje, co pozwala osiągać lepsze wyniki w zadaniach klasyfikacji, segmentacji i wyszukiwania podobnych obrazów.

Obie metody są szeroko stosowane do wstępnego trenowania modeli, które następnie można dostosować do konkretnych zadań z mniejszą ilością danych oznaczonych.