Word2Vec eğitiminde negatif örnekleme nedir ve neden gereklidir?

Negatif örnekleme, word2vec modelinin eğitiminde kullanılan bir optimizasyon tekniğidir ve çok büyük sözlüklerle yapılan görevlerde verimli öğrenme sağlar. Tüm kelimeler için olasılığı hesaplamak yerine (bu çok maliyetlidir), negatif örnekleme birkaç "negatif" örnek (verilen kelimenin bağlamına ait olmayan kelimeler) seçer ve modeli gerçek kelime çiftlerini (pozitif örnekler) rastgele olanlardan (negatifler) ayırt etmeye eğitir.

Bu, eğitimi önemli ölçüde hızlandırır ve hesaplama maliyetlerini azaltırken, elde edilen gömme kalitesini korur. Sonuç olarak, model yakın kelimelerin olasılığını artırmayı ve rastgele kelimelerin olasılığını azaltmayı öğrenir.

Örnek: (kelime, bağlam) çifti için — pozitif örnek — birkaç rastgele kelime sözlükten negatif olarak seçilir ve model bunları ayırt etmeyi öğrenir.

# Negatif örnekleme için psödokod
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — negatif örnek sayısı
    update_model(positive_pair, negative_samples)