Πώς φαίνεται αρχιτεκτονικά η εκπαίδευση του Word2Vec; Πώς προβλέπει το μοντέλο τη λείπουσα λέξη από το πλαίσιο;

Обучение Word2Vec основано на нейронной сети, которая учится предсказывать слово по его контексту (или наоборот). Есть две основные архитектуры:

1. CBOW (Continuous Bag of Words) — модель получает контекст (слова вокруг целевого слова) и пытается предсказать пропущенное слово.
2. Skip-gram — наоборот, модель получает слово и пытается предсказать контекст вокруг него.

В CBOW, например, входом служат векторные представления слов контекста, которые усредняются и подаются на скрытый слой, а выход — вероятности слов словаря. Модель обучается минимизировать ошибку предсказания целевого слова.

Пример упрощённого процесса CBOW:

# Контекст: ['кошка', 'на', 'дереве']
# Целевое слово: 'сидит'
# Модель получает векторы слов контекста, усредняет их и предсказывает 'сидит'

Таким образом, модель учится представлять слова в векторном пространстве так, чтобы близкие по смыслу слова имели близкие векторы.