Что такое BYOL и почему он не нуждается в negatives?

BYOL (Bring Your Own Labels) — это метод обучения в self-supervised learning, где модель обучается без использования негативных примеров (negatives). В отличие от классических контрастивных методов, которые требуют пар позитивных и негативных примеров для обучения различать похожие и непохожие объекты, BYOL использует два нейросетевых энкодера (online и target), которые обучаются предсказывать представление одного и того же объекта в разных аугментациях.

Отсутствие негативов объясняется тем, что BYOL минимизирует разницу между двумя представлениями одного и того же объекта, не сравнивая их с другими объектами. Это предотвращает необходимость в подборе негативных примеров и снижает риск коллапса представлений благодаря архитектуре и обновлению target-сети с помощью экспоненциального скользящего среднего.

Примерно так работает BYOL:

• Два аугментированных вида одного изображения подаются на две сети.
• Online-сеть обучается предсказывать выход target-сети.
• Target-сеть обновляется как EMA от online-сети.

Таким образом, BYOL учится создавать полезные представления без явного использования негативных примеров.