Что такое attention?

Attention — это механизм в нейронных сетях, который позволяет модели фокусироваться на наиболее важных частях входных данных при обработке. В отличие от традиционных моделей, которые обрабатывают всю информацию равномерно, attention динамически взвешивает вклад разных элементов, улучшая качество понимания и генерации данных.

Например, в задачах обработки естественного языка attention помогает модели учитывать контекст слов, выделяя релевантные слова при переводе или ответе на вопросы.

Пример простого внимания (scaled dot-product attention) в псевдокоде:

# Q, K, V — матрицы запросов, ключей и значений
scores = Q @ K.T / sqrt(d_k)  # вычисление сходства
weights = softmax(scores)    # нормализация весов
output = weights @ V          # взвешенное суммирование значений

Механизм attention лежит в основе архитектур трансформеров, широко используемых в современных AI-фреймворках.