Какво са контекстуалните вграждания? Дайте примери за модели.

Контекстуалните вграждания са векторни представяния на думи или токени, които зависят от контекста, в който се използват тези думи. За разлика от статичните вграждания (например Word2Vec или GloVe), където всяка дума има фиксирано представяне, контекстуалните вграждания се променят в зависимост от околния текст, което позволява по-добро улавяне на многозначността и синтактичните характеристики.

Примери за модели, които генерират контекстуални вграждания:

• ELMo (Embeddings from Language Models) — използва двупосочни LSTM за създаване на вграждания, зависими от контекста.
• BERT (Bidirectional Encoder Representations from Transformers) — трансформър, който е обучен на задача за маскиран език и генерира вграждания, които вземат предвид контекста отляво и отдясно.
• GPT (Generative Pre-trained Transformer) — автогресивен модел, който генерира вграждания, като взема предвид предходния контекст.

Пример за използване на BERT за получаване на вграждания на дума в контекст:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state съдържа вграждания за всеки токен, вземайки предвид контекста
embeddings = outputs.last_hidden_state