Word2Vec үйрөтүүдө negative sampling деген эмне жана ал эмне үчүн керек?

Негативдүү үлгүлөө — бул word2vec моделин үйрөтүүдө колдонулган оптималдаштыруу технологиясы, өтө чоң сөздүктөр менен иштөөдө эффективдүү үйрөнүүнү камсыз кылат. Бардык сөздөр үчүн ыктымалдуулукту эсептөөдө (бул өтө кымбатка турат), негативдүү үлгүлөө бир нече "негативдүү" мисалдарды (берилген сөздүн контекстине кирбеген сөздөрдү) тандоого жана моделге чынжыр сөздөрдү (оң мисалдар) кездейсоқтардан (негативдерден) айырмалоого үйрөтөт.

Бул үйрөтүүнү кыйла тездетип, эсептөө чыгымдарын азайтат, ал эми алынган embeddings сапатын сактайт. Аягында, модел жакын сөздөрдүн ыктымалдыгын көбөйтүп, кездейсок сөздөрдүн ыктымалдыгын азайтат.

Мисал: (сөз, контекст) жуп үчүн — оң мисал — сөздүктөн бир нече кездейсок сөздөрдү негатив катары тандоого болот, жана модел аларды айырмалоону үйрөнөт.

# Негативдүү үлгүлөө үчүн псевдокод
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — негатив мисалдардын саны
    update_model(positive_pair, negative_samples)