Word2Vec təlimində mənfi nümunə seçimi nədir və nə üçün lazımdır?

Mənfi nümunə seçimi, word2vec modelinin təlimində istifadə olunan optimallaşdırma texnikasıdır və çox böyük sözlük ilə işləyən tapşırıqlarda effektiv öyrənmə təmin edir. Bütün sözlər üçün ehtimalı hesablamaq əvəzinə (bu çox baha başa gəlir), mənfi nümunə seçimi bir neçə "mənfi" nümunə (verilən sözün kontekstinə daxil olmayan sözlər) seçir və modeli real söz cütlüklərini (müsbət nümunələr) təsadüfi olanlardan (mənfi nümunələr) ayırmağa öyrədir.

Bu, təlimi əhəmiyyətli dərəcədə sürətləndirir və hesablama xərclərini azaldır, eyni zamanda əldə olunan gömmələrin keyfiyyətini qoruyur. Nəticədə, model yaxın sözlərin ehtimalını artırmağı və təsadüfi sözlərin ehtimalını azaltmağı öyrənir.

Misal: (söz, kontekst) cütlüyü üçün — müsbət nümunə — sözlükdən bir neçə təsadüfi söz mənfi kimi seçilir və model onları ayırmağı öyrənir.

# Mənfi nümunə seçimi üçün pseudokod
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — mənfi nümunələrin sayı
    update_model(positive_pair, negative_samples)