Kas yra word2vec?

Word2vec — tai metodas, skirtas žodžių reprezentavimui kaip vektoriams fiksuoto dydžio, leidžiantis modeliuoti semantinius ryšius tarp žodžių.

Pagrindinė idėja — apmokyti neuroninį tinklą prognozuoti žodžio kontekstą (arba patį žodį pagal kontekstą), dėl ko kiekvienas žodis įgyja vektorinę reprezentaciją, atspindinčią jo semantinį artumą su kitais žodžiais.

Word2vec naudojimo pavyzdys:

from gensim.models import Word2Vec

sentences = [['aš', 'mėgstu', 'mašininį', 'mokymą'], ['mašininis', 'mokymas', 'yra', 'naudingas']]
model = Word2Vec(sentences, vector_size=50, window=2, min_count=1, workers=4)

vector = model.wv['mašininis']  # Gauti žodžio "mašininis" vektorių
similar_words = model.wv.most_similar('mašininis')  # Surasti panašius žodžius

Word2vec plačiai naudojamas NLP užduotims klasifikacijoje, klasterizacijoje ir panašių žodžių paieškoje.