word2vec эмне?

Word2vec — бул сөздөрдү белгилүү өлчөмдөгү векторлор түрүндө көрсөтүү ыкмасы, ал сөздөр арасындагы семантикалык байланыштарды моделдөө мүмкүнчүлүгүн берет.

Негизги идея — нейрондук тармакты сөздүн контекстин (же өзү сөздү контекстке негизделген) алдын ала айтканга үйрөтүү, натыйжада ар бир сөз анын башка сөздөргө карата семантикалык жакындыгын чагылдырган вектордук көрсөтмө алат.

Word2vec колдонуу мисалы:

from gensim.models import Word2Vec

sentences = [['мен', 'машиналык', 'үйрөнүүнү', 'сүйөм'], ['машиналык', 'үйрөнүү', 'пайдалуу']]
model = Word2Vec(sentences, vector_size=50, window=2, min_count=1, workers=4)

vector = model.wv['машиналык']  # "машиналык" сөзүнүн векторун алуу
similar_words = model.wv.most_similar('машиналык')  # окшош сөздөрдү издөө

Word2vec NLPда классификация, кластерлөө жана окшош сөздөрдү издөө үчүн кеңири колдонулат.