Mis on negative sampling word2vec koolitamisel ja milleks see on vajalik?

Negatiivne näide on optimeerimistehnika, mida kasutatakse word2vec-mudeli treenimisel, et õppida tõhusalt väga suure sõnastiku korral. Selle asemel, et arvutada tõenäosust kõigi sõnade jaoks sõnastikus (mis on väga kulukas), valib negatiivne näide välja mitu "negatiivset" näidet (sõnu, mis ei kuulu antud sõna konteksti) ja treenib mudelit eristama tõelisi sõnapaarid (positiivseid näiteid) juhuslikest (negatiivsetest).

See võimaldab oluliselt kiirendada treeningut ja vähendada arvutuslikke kulusid, säilitades samal ajal saadud sisestuste kvaliteedi. Lõpuks õpib mudel suurendama lähedal asuvate sõnade tõenäosust ja vähendama juhuslike sõnade tõenäosust.

Näide: paari (sõna, kontekst) puhul — positiivne näide — valitakse sõnastikust mitu juhuslikku sõna negatiivsetena ning mudel õpib neid eristama.

# Negatiivse näite pseudoskript
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — negatiivsete näidete arv
    update_model(positive_pair, negative_samples)