Kas ir negative sampling mācoties word2vec un kam tas ir nepieciešams?

Negatīvās paraugu ņemšanas ir optimizācijas tehnika, kas tiek izmantota word2vec modeļa apmācībā, lai efektīvi mācītos ar ļoti lielu vārdu krājumu. Tā vietā, lai aprēķinātu varbūtību visiem vārdiem vārdnīcā (kas ir ļoti dārgi), negatīvās paraugu ņemšanas metode izvēlas vairākus "negatīvus" piemērus (vārdu, kas nav šī vārda kontekstā) un apmāca modeli atšķirt reālas vārdu pārus (pozitīvus piemērus) no nejaušiem (negatīviem).

Tas ļauj ievērojami paātrināt apmācību un samazināt aprēķinu izmaksas, vienlaikus saglabājot iegūto iekļaušanas kvalitāti. Galu galā, modelis māca palielināt tuvāko vārdu varbūtību un samazināt nejaušo vārdu varbūtību.

Piemērs: pāra (vārds, konteksts) — pozitīvs piemērs — tiek izvēlēti vairāki nejauši vārdi no vārdnīcas kā negatīvi, un modelis māca tos atšķirt.

# Negatīvās paraugu ņemšanas pseido-kods
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — negatīvo piemēru skaits
    update_model(positive_pair, negative_samples)