Что такое контекстуальные эмбеддинги? Приведите примеры моделей.

Контекстуальные эмбеддинги — это векторные представления слов или токенов, которые зависят от контекста, в котором эти слова используются. В отличие от статических эмбеддингов (например, Word2Vec или GloVe), где каждое слово имеет фиксированное представление, контекстуальные эмбеддинги меняются в зависимости от окружающего текста, что позволяет лучше учитывать многозначность и синтаксические особенности.

Примеры моделей, генерирующих контекстуальные эмбеддинги:

• ELMo (Embeddings from Language Models) — использует двунаправленные LSTM для создания эмбеддингов, зависящих от контекста.
• BERT (Bidirectional Encoder Representations from Transformers) — трансформер, который обучается на задаче маскированного языка и генерирует эмбеддинги, учитывающие контекст слева и справа.
• GPT (Generative Pre-trained Transformer) — автогрессивная модель, генерирующая эмбеддинги с учетом предыдущего контекста.

Пример использования BERT для получения эмбеддингов слова в контексте:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

sentence = "The bank will not approve the loan."
inputs = tokenizer(sentence, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state содержит эмбеддинги для каждого токена с учетом контекста
embeddings = outputs.last_hidden_state