Расскажите про Word2Vec: какие постановки задачи обучения в нём используются (CBOW, Skip-gram)?

Word2Vec — это метод представления слов в виде векторов фиксированной размерности, обучаемый на большом корпусе текста. Основные постановки задачи обучения в Word2Vec — это CBOW (Continuous Bag of Words) и Skip-gram.

• CBOW: модель пытается предсказать текущее слово по его контексту (окружающим словам). Например, если у нас есть предложение "кошка сидит на ковре", то по словам "сидит", "на", "ковре" модель пытается предсказать слово "кошкa".

• Skip-gram: наоборот, модель по текущему слову пытается предсказать слова из его контекста. Например, по слову "кошкa" предсказываются слова "сидит", "на", "ковре".

Обе модели используют нейронные сети с одним скрытым слоем и обучаются с помощью оптимизации функции потерь, связанной с вероятностью появления слов в контексте. Skip-gram хорошо работает на редких словах, а CBOW — быстрее и лучше для частых слов.