word2vec чист?

Word2vec — ин усулест, ки калимаҳоро ҳамчун векторҳои доимӣ намоиш медиҳад, ки имкон медиҳад муносибатҳои семантики байни калимаҳоро моделсозӣ кунад.

Асосӣ идея — омӯзиши шабакаи нейронӣ барои пешгӯии контексти калима (ё худи калима бар асоси контекст), ки дар натиҷа ҳар калима векторӣ намоиш дода мешавад, ки наздикӣ ба маънои онро бо дигар калимаҳоро нишон медиҳад.

Маслиҳат барои истифодаи word2vec:

from gensim.models import Word2Vec

sentences = [['ман', 'мехоҳам', 'машинӣ', 'омӯзиш'], ['омӯзиши', 'машинӣ', 'фоиданок аст']]
model = Word2Vec(sentences, vector_size=50, window=2, min_count=1, workers=4)

vector = model.wv['машинӣ']  # Дастрас кардани вектор барои калимаи "машинӣ"
similar_words = model.wv.most_similar('машинӣ')  # Ҷустуҷӯи калимаҳои монанд

Word2vec дар NLP барои вазифаҳои класификация, кластерсозӣ ва ҷустуҷӯи калимаҳои монанд васеъ истифода мешавад.