Как работает трансформер? Расскажите про BERT и GPT.

Трансформер — это архитектура нейросети, основанная на механизме внимания (attention), который позволяет модели эффективно обрабатывать последовательности данных, учитывая контекст всего входа одновременно, а не поэлементно, как в RNN.

Ключевая идея — self-attention: каждый элемент входной последовательности взвешенно взаимодействует со всеми остальными, что помогает улавливать зависимости на любом расстоянии.

BERT (Bidirectional Encoder Representations from Transformers) — это трансформер, обученный на задаче маскированного языка (Masked Language Model), где модель предсказывает скрытые слова, учитывая контекст слева и справа. BERT — энкодер, ориентирован на понимание текста, хорошо подходит для задач классификации, извлечения информации.

GPT (Generative Pre-trained Transformer) — трансформер, основанный на декодере, обученный автогрессивно: предсказывает следующий токен, учитывая только предыдущие. GPT хорошо генерирует связный текст и используется для задач генерации, диалогов, креативного письма.

Пример self-attention упрощённо:

# Псевдокод для self-attention
for token_i in sequence:
    attention_weights = []
    for token_j in sequence:
        weight = similarity(token_i, token_j)  # например, dot product
        attention_weights.append(weight)
    normalized_weights = softmax(attention_weights)
    token_i_representation = sum(normalized_weights[j] * embedding(token_j) for j in range(len(sequence)))

Таким образом, трансформеры эффективно захватывают контекст и зависимости, что делает их мощными для обработки естественного языка.