Cum arată din punct de vedere arhitectural antrenamentul Word2Vec? Cum prezice modelul cuvântul lipsă din context?

Обучение Word2Vec основано на нейронной сети, которая учится предсказывать слово по его контексту (или наоборот). Есть две основные архитектуры:

1. CBOW (Continuous Bag of Words) — модель получает контекст (слова вокруг целевого слова) и пытается предсказать пропущенное слово.
2. Skip-gram — наоборот, модель получает слово и пытается предсказать контекст вокруг него.

В CBOW, например, входом служат векторные представления слов контекста, которые усредняются и подаются на скрытый слой, а выход — вероятности слов словаря. Модель обучается минимизировать ошибку предсказания целевого слова.

Пример упрощённого процесса CBOW:

# Контекст: ['кошка', 'на', 'дереве']
# Целевое слово: 'сидит'
# Модель получает векторы слов контекста, усредняет их и предсказывает 'сидит'

Таким образом, модель учится представлять слова в векторном пространстве так, чтобы близкие по смыслу слова имели близкие векторы.