NLP-да (SimCSE) контрастты оқыту дегеніміз не?

Contrastive оқыту NLP-да — бұл модельдерді оқыту әдісі, ол ұқсас мағыналы мәтіндердің бейнелері (эмбеддингтері) бір-біріне жақын болуын, ал ұқсамайтындардың — алыстап кетуін көздейді. SimCSE (Simple Contrastive Sentence Embeddings) — контрастивті оқытуды қолданатын танымал әдіс, ол сапалы сөйлем эмбеддингтерін алуға бағытталған.

SimCSE-де әр сөйлем үшін оң жұптар құрылады: мысалы, бастапқы сөйлем және оның аздап өзгертілген нұсқасы (мысалы, трансформердегі dropout көмегімен). Модель бұл жұптардың эмбеддингтері ең жақын болатындай етіп оқытылады, ал әртүрлі сөйлемдердің эмбеддингтері — әртүрлі.

Бұл мәтіндерді іздеу және салыстыру сапасын жақсартуға мүмкіндік береді, себебі модель семантикалық жақындықты ұстауды үйренеді, көп мөлшерде белгіленген деректер қажет емес.

Қарапайым идеяның мысалы:

# SimCSE үшін псевдокод
for sentence in dataset:
    embedding1 = model(sentence, dropout=True)
    embedding2 = model(sentence, dropout=True)
    # embedding1 және embedding2 ұқсастығын максимизациялау
    # басқа сөйлемдердің эмбеддингдерімен ұқсастығын минимизациялау
    loss = contrastive_loss(embedding1, embedding2, negative_samples)
    optimize(loss)