Контекстуалдык салымдар деген эмне? Моделдердин мисалдарын келтириңиз.

Контекстуалдуу салымдар — бул сөздөрдүн же токендердин вектордук көрсөтмөлөрү, алар колдонулуп жаткан контекстке көз каранды. Статикалык салымдардан (мисалы, Word2Vec же GloVe) айырмаланып, ар бир сөз үчүн туруктуу көрсөтмө бар болсо, контекстуалдуу салымдар айланасындагы текстке жараша өзгөрүп турат, бул көп маанилүүлүк жана синтаксистик өзгөчөлүктөрдү жакшыраак эске алууга мүмкүндүк берет.

Контекстуалдуу салымдарды түзүүчү моделдердин мисалдары:

• ELMo (Embeddings from Language Models) — контекстке көз каранды салымдарды түзүү үчүн эки багыттуу LSTM колдонулат.
• BERT (Bidirectional Encoder Representations from Transformers) — маскировка тил тапшырмасы боюнча окутулган трансформер, ал сол жана оң контекстти эске алат.
• GPT (Generative Pre-trained Transformer) — алдын ала окутулган модел, ал алдынкы контекстти эске алуу менен салымдарды түзөт.

BERT колдонуп, сөздүн контексттик салымдарын алуу мисалы:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

сөйлем = "The bank will not approve the loan."
inputs = tokenizer(сөйлем, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state ар бир токен үчүн контекстти эске алатган салымдарды камтыйт
embeddings = outputs.last_hidden_state