Kontekstual gömme nədir? Modellərdən nümunələr verin.

Kontekstual gömmələr, istifadə olunduğu kontekstdən asılı olan söz və ya tokenların vektor təqdimatlarıdır. Statik gömmələrdən (məsələn, Word2Vec və ya GloVe) fərqli olaraq, hər bir söz üçün sabit təqdimat mövcuddur, kontekstual gömmələr isə ətrafdakı mətnə əsasən dəyişir və çoxmənalılıq və sintaktik xüsusiyyətləri daha yaxşı əks etdirir.

Kontekstual gömmələr yaradan modellərə nümunələr:

• ELMo (Embeddings from Language Models) — kontekstə bağlı gömmələr yaratmaq üçün ikitərəfli LSTM-dən istifadə edir.
• BERT (Bidirectional Encoder Representations from Transformers) — maskalanmış dil tapşırığında öyrədilmiş və soldan və sağdan konteksti nəzərə alan gömmələr yaradan transformator.
• GPT (Generative Pre-trained Transformer) — əvvəlki konteksti nəzərə alaraq gömmələr yaradan autoreqressiv model.

BERT istifadə edərək kontekstdə sözün göməsini alma nümunəsi:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state hər token üçün konteksti nəzərə alan gömmələri ehtiva edir
embeddings = outputs.last_hidden_state