Bağlamsal gömme nedir? Modellerden örnekler veriniz.

Bağlamsal gömme, kullanılan kelimelere veya tokenlara bağlı olan vektör temsilleridir. Statik gömmelerden (örneğin, Word2Vec veya GloVe) farklı olarak, her kelimenin sabit bir temsili varken, bağlamsal gömmeler çevredeki metne bağlı olarak değişir ve çok anlamlılık ile sözdizimsel özelliklerin daha iyi yakalanmasını sağlar.

Bağlamsal gömme üreten modeller örnekleri:

• ELMo (Embeddings from Language Models) — bağlamdan bağımsız gömmeler oluşturmak için çift yönlü LSTM kullanır.
• BERT (Bidirectional Encoder Representations from Transformers) — maskeleme görevi üzerinde eğitilmiş ve sol ve sağ bağlamı dikkate alan gömmeler üretir.
• GPT (Generative Pre-trained Transformer) — önceki bağlamı dikkate alarak gömmeler üreten otoregresif bir model.

Bir kelimenin bağlam içinde gömme alınması için BERT kullanımı örneği:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state, her token için bağlamı dikkate alan gömmeleri içerir
embeddings = outputs.last_hidden_state