Что такое contrastive learning в NLP (SimCSE)?

Contrastive learning в NLP — это метод обучения моделей, направленный на то, чтобы представления (эмбеддинги) похожих по смыслу текстов были ближе друг к другу в пространстве признаков, а непохожие — дальше. SimCSE (Simple Contrastive Sentence Embeddings) — популярный подход, который использует контрастивное обучение для получения качественных эмбеддингов предложений.

В SimCSE для каждого предложения создаются позитивные пары: например, исходное предложение и его слегка изменённая версия (например, с помощью dropout в трансформере). Модель обучается так, чтобы эмбеддинги этих пар были максимально близки, а эмбеддинги разных предложений — отличались.

Это позволяет улучшить качество поиска и сравнения текстов, так как модель учится улавливать семантическую близость без необходимости в большом количестве размеченных данных.

Пример упрощённой идеи:

# Псевдокод для SimCSE
for sentence in dataset:
    embedding1 = model(sentence, dropout=True)
    embedding2 = model(sentence, dropout=True)
    # максимизируем сходство embedding1 и embedding2
    # минимизируем сходство с эмбеддингами других предложений
    loss = contrastive_loss(embedding1, embedding2, negative_samples)
    optimize(loss)