Что такое DINO и DINO-v2?

DINO (Distillation with NO labels) и DINO-v2 — это методы самообучения (self-supervised learning) в области компьютерного зрения, основанные на трансформерах и свёрточных нейросетях.

DINO — это подход, при котором модель обучается извлекать полезные представления из изображений без использования размеченных данных. Основная идея — использовать две нейросети (студент и учитель), где учитель обновляется с помощью экспоненциального скользящего среднего параметров студента. Модель учится сопоставлять разные аугментации одного и того же изображения, что позволяет ей формировать устойчивые и информативные признаки.

DINO-v2 — улучшенная версия DINO, которая расширяет возможности и качество извлечения признаков. В ней используются более мощные архитектуры и оптимизации, что позволяет достигать лучших результатов в задачах классификации, сегментации и поиска похожих изображений.

Оба метода широко применяются для предобучения моделей, которые затем можно дообучать на конкретных задачах с меньшим количеством размеченных данных.