Что такое contrastive learning в общем виде (SimCLR, MoCo)?

Contrastive learning — это метод обучения представлений (эмбеддингов), при котором модель учится отличать похожие объекты от непохожих. Основная идея — максимизировать сходство между положительными парами (например, разные аугментации одного и того же изображения) и минимизировать сходство между отрицательными парами (разными изображениями).

В SimCLR и MoCo:

• SimCLR: берутся два разных преобразования одного изображения (аугментации), и модель обучается так, чтобы их эмбеддинги были близки, а эмбеддинги других изображений — далеки.
• MoCo: использует очередь отрицательных примеров и специальный механизм обновления памяти (memory bank), чтобы эффективно обучаться на большом количестве отрицательных примеров.

Это позволяет обучать мощные представления без явных меток, что полезно для последующих задач классификации, кластеризации и т.д.