Что является результатом перемножения ключей и запросов в трансформерах?

В трансформерах результатом перемножения ключей (keys) и запросов (queries) является матрица скорингов (оценок) внимания, которая показывает, насколько каждый элемент запроса соответствует каждому элементу ключей.

Конкретно, вычисляется скалярное произведение (dot product) между вектором запроса и каждым вектором ключа. Это дает числовую оценку важности или релевантности ключа для данного запроса.

Далее эти значения обычно нормализуются с помощью softmax, чтобы получить распределение внимания, которое используется для взвешенного суммирования значений (values).

Итог:

• Перемножение queries и keys — это основа механизма внимания (attention), позволяющая модели фокусироваться на релевантных частях входных данных.

Формула:

[ Attention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]

где:

• Q — матрица запросов,
• K — матрица ключей,
• V — матрица значений,
• (d_k) — размерность ключей (для масштабирования).