Τι είναι το negative sampling στην εκπαίδευση του word2vec και γιατί χρειάζεται;

Η αρνητική δειγματοληψία είναι μια τεχνική βελτιστοποίησης που χρησιμοποιείται στην εκπαίδευση του μοντέλου word2vec για αποτελεσματική μάθηση σε εργασίες με πολύ μεγάλο λεξιλόγιο. Αντί να υπολογίζει την πιθανότητα για όλες τις λέξεις στο λεξιλόγιο (που είναι πολύ δαπανηρό), η αρνητική δειγματοληψία επιλέγει αρκετά "αρνητικά" παραδείγματα (λέξεις που δεν ανήκουν στο πλαίσιο της δεδομένης λέξης) και εκπαιδεύει το μοντέλο να διακρίνει μεταξύ πραγματικών ζευγών λέξεων (θετικά παραδείγματα) και τυχαίων (αρνητικά).

Αυτό επιτρέπει την σημαντική επιτάχυνση της εκπαίδευσης και τη μείωση των υπολογιστικών εξόδων, διατηρώντας παράλληλα την ποιότητα των ενσωματώσεων που λαμβάνονται. Στο τέλος, το μοντέλο μαθαίνει να αυξάνει την πιθανότητα γειτονικών λέξεων και να μειώνει την πιθανότητα τυχαίων λέξεων.

Παράδειγμα: για ένα ζευγάρι (λέξη, πλαίσιο) — θετικό παράδειγμα — επιλέγονται αρκετές τυχαίες λέξεις από το λεξιλόγιο ως αρνητικά, και το μοντέλο μαθαίνει να τα διακρίνει.

# Ψευδοκώδικας αρνητικής δειγματοληψίας
for target_word, context_word in corpus:
    positive_pair = (target_word, context_word)
    negative_samples = sample_negative_words(k)  # k — αριθμός αρνητικών παραδειγμάτων
    update_model(positive_pair, negative_samples)