Как устроен механизм внимания в трансформерах?

Механизм внимания (attention) в трансформерах позволяет модели фокусироваться на разных частях входной последовательности при обработке каждого элемента. Основная идея — вычислить для каждого элемента взвешенную сумму всех элементов последовательности, где веса отражают важность каждого элемента относительно текущего.

Процесс:

1. Для каждого входного вектора вычисляются три проекции: Query (Q), Key (K) и Value (V).
2. Вычисляется скалярное произведение Query с каждым Key, чтобы получить меры сходства.
3. Эти значения нормализуются с помощью softmax, чтобы получить веса внимания.
4. Итоговый вектор для текущего элемента — это сумма Value, взвешенных этими коэффициентами.

Это позволяет модели учитывать контекст и зависимости между элементами без рекурсии или свёрток.

Пример формулы:

[ Attention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]

где (d_k) — размерность ключей, используется для масштабирования.

В трансформерах часто используется multi-head attention — несколько параллельных механизмов внимания, которые позволяют модели захватывать разные аспекты контекста.