Kas ir kontekstualizētie iekļāvumi? Sniedziet modeļu piemērus.

Kontekstveida ieliktnes ir ir attēlojumi, kas ir vektoru reprezentācijas vārdiem vai tokeniem, kas ir atkarīgas no konteksta, kurā šie vārdi tiek lietoti. Atšķirībā no statiskajām ieliktnēm (piemēram, Word2Vec vai GloVe), kur katram vārdam ir fiksēta reprezentācija, kontekstveida ieliktnes mainās atkarībā no apkārtējā teksta, ļaujot labāk uztvert daudznozīmību un sintaktiskās īpašības.

Modeles, kas ģenerē kontekstveida ieliktnes:

• ELMo (Embeddings from Language Models) — izmanto divvirzienu LSTM, lai radītu kontekstam atkarīgas ieliktnes.
• BERT (Bidirectional Encoder Representations from Transformers) — transformatoru, kas apmācīts uz maskēta valodas uzdevuma, un ģenerē ieliktnes, ņemot vērā kreiso un labo kontekstu.
• GPT (Generative Pre-trained Transformer) — autoregresīvs modelis, kas ģenerē ieliktnes, ņemot vērā iepriekšējo kontekstu.

Piemērs, kā izmantot BERT, lai iegūtu vārda ieliktnes kontekstā:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sents = "The bank will not approve the loan."
inputs = tokenizer(sents, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state saturēs katra tokena ieliktnes, ņemot vērā kontekstu
embeddings = outputs.last_hidden_state