Šta su kontekstualni ugradni? Dajte primere modela.

Kontekstualni ugradjeni su vektorski prikazi reči ili tokena koji zavise od konteksta u kojem se te reči koriste. Za razliku od statičnih ugradnji (npr. Word2Vec ili GloVe), gde svaka reč ima fiksni prikaz, kontekstualni ugradjeni se menjaju u zavisnosti od okoline, što omogućava bolju reprezentaciju višeznačnosti i sintaktičkih osobina.

Primeri modela koji generišu kontekstualne ugradnje:

• ELMo (Embeddings from Language Models) — koristi dvostrano usmerene LSTM-ove za kreiranje ugradnji koje zavise od konteksta.
• BERT (Bidirectional Encoder Representations from Transformers) — transformator koji je obučen na zadatku maskiranog jezika i generiše ugradnje koje uzimaju u obzir kontekst s leva i desna.
• GPT (Generative Pre-trained Transformer) — autoregresivni model koji generiše ugradnje uzimajući u obzir prethodni kontekst.

Primer korišćenja BERT-a za dobijanje ugradnji reči u kontekstu:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state sadrži ugradnje za svaki token uzimajući u obzir kontekst
embeddings = outputs.last_hidden_state