Mi az a negative sampling a word2vec tanításában, és miért van rá szükség?

A negatív mintavétel egy optimalizációs technika, amelyet a word2vec modell tanításában használnak, hogy hatékonyan tanuljon nagyon nagy szókészlettel rendelkező feladatokban. Ahelyett, hogy minden szó valószínűségét kiszámítaná a szókészlet összes szava esetében (ami nagyon drága), a negatív mintavétel több "negatív" példát (szavakat, amelyek nem részei a megadott szó kontextusának) választ ki, és a modellt arra tanítja, hogy megkülönböztesse a valódi szó-párokat (pozitív példák) a véletlenszerűektől (negatívak).

Ez jelentősen felgyorsítja a tanulási folyamatot és csökkenti a számítási költségeket, miközben megőrzi a kapott beágyazások minőségét. Végül a modell megtanulja növelni a közeli szavak valószínűségét és csökkenteni a véletlenszerű szavak valószínűségét.

Példa: egy (szó, kontextus) pár esetén — pozitív példa — több véletlenszerű szót választanak ki a szókészletből negatívként, és a modell megtanulja ezeket megkülönböztetni.

# Negatív mintavétel pszeudokódja
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — negatív példák száma
    update_model(positive_pair, negative_samples)