Ի՞նչ են կոնտեքստային ներդրումները: Տրամադրեք մոդելների օրինակներ։

Կոնտեքստուալ ներդրումները վեկտորային ներկայացումներ են բառերի կամ տոքենների, որոնք կախված են այն կոնտեքստից, որտեղ դրանք օգտագործվում են: Վերլուծական ներդրումների (օրինակ, Word2Vec կամ GloVe) տարբերակով, որտեղ յուրաքանչյուր բառ ունի հաստատված ներկայացում, կոնտեքստուալ ներդրումները փոխվում են շրջակա տեքստի հիման վրա, ինչը թույլ է տալիս ավելի լավ հասկանալ բազմաբնույթությունը և սինտակսիսային առանձնահատկությունները:

Նմուշներ մոդելների, որոնք ստեղծում են կոնտեքստուալ ներդրումներ՝

• ELMo (Embeddings from Language Models) — օգտագործում է երկկողմանի LSTM-ներ՝ կոնտեքստից կախված ներդրումներ ստեղծելու համար:
• BERT (Bidirectional Encoder Representations from Transformers) — փոխակերպիչ, որը ուսուցանվում է մասկարացված լեզվի խնդիրով և ստեղծում է ներդրումներ, որոնք հաշվի են առնում ձախ և աջ կոնտեքստը:
• GPT (Generative Pre-trained Transformer) — ինքնահոս մոդել, որը ստեղծում է ներդրումներ՝ հաշվի առնելով նախորդ կոնտեքստը:

Օրինակ՝ BERT- ի օգտագործում՝ բառի կոնտեքստային ներդրումները ստանալու համար:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state պարունակում է յուրաքանչյուր տոքենի կոնտեքստային ներդրումները
embeddings = outputs.last_hidden_state