Mis on kontekstuaalsed sisestused? Andke näiteid mudeleidest.

Kontekstuaalsed sisestused on vektorivormingud sõnadest või tokenitest, mis sõltuvad kasutuskontekstist, milles need sõnad esinevad. Erinevalt statilistest sisestustest (näiteks Word2Vec või GloVe), kus iga sõna omab fikseeritud esitamist, muutuvad kontekstuaalsed sisestused vastavalt ümbritsevale tekstile, võimaldades paremini käsitleda mitme tähendusega sõnu ja süntaktilisi omadusi.

Näited mudelitest, mis genereerivad kontekstuaalseid sisestusi:

• ELMo (Embeddings from Language Models) — kasutab kahe suunaga LSTM-e, et luua kontekstist sõltuvad sisestused.
• BERT (Bidirectional Encoder Representations from Transformers) — transformator, mis on treenitud maskeeritud keeleülesande jaoks ja genereerib sisestusi, mis arvestavad vasakut ja paremat konteksti.
• GPT (Generative Pre-trained Transformer) — autoregressiivne mudel, mis genereerib sisestusi, võttes arvesse eelnevat konteksti.

Näide BERT-i kasutamisest sõna kontekstuaalsete sisestuste saamiseks:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

lauset = "The bank will not approve the loan."
inputs = tokenizer(lauset, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state sisaldab iga tokeni kontekstipõhiseid sisestusi
embeddings = outputs.last_hidden_state