Что такое word2vec?

Word2vec — это метод представления слов в виде векторов фиксированной размерности, который позволяет моделировать семантические отношения между словами.

Основная идея — обучить нейронную сеть предсказывать контекст слова (или само слово по контексту), в результате чего каждое слово получает векторное представление, отражающее его смысловую близость к другим словам.

Пример использования word2vec:

from gensim.models import Word2Vec

sentences = [['я', 'люблю', 'машинное', 'обучение'], ['машинное', 'обучение', 'полезно']]
model = Word2Vec(sentences, vector_size=50, window=2, min_count=1, workers=4)

vector = model.wv['машинное']  # Получение вектора слова "машинное"
similar_words = model.wv.most_similar('машинное')  # Поиск похожих слов

Word2vec широко используется в NLP для задач классификации, кластеризации и поиска похожих слов.