Какие три матрицы используются в multihead attention?

В multihead attention используются три основные матрицы, которые формируются из входных данных:

1. Query (Q) — матрица запросов, которая определяет, на какие элементы входа нужно обратить внимание.
2. Key (K) — матрица ключей, которая используется для сопоставления с запросами и определения релевантности.
3. Value (V) — матрица значений, содержащая информацию, которая будет агрегирована в результате внимания.

Процесс attention вычисляет веса внимания как скалярное произведение между Q и K, нормирует их и применяет к V, чтобы получить взвешенную сумму значений. В multihead attention этот процесс повторяется параллельно несколько раз с разными проекциями Q, K и V, что позволяет модели захватывать разные аспекты информации.