Кои три матрици се използват в multihead attention?

В multihead attention се използват три основни матрици, които се формират от входните данни:

1. Query (Q) — матрица на заявките, която определя към кои елементи на входа трябва да се обърне внимание.
2. Key (K) — матрица на ключовете, която се използва за съпоставяне със заявките и определяне на релевантността.
3. Value (V) — матрица на стойностите, съдържаща информацията, която ще бъде агрегирана в резултата от вниманието.

Процесът на внимание изчислява теглата като скаларно произведение между Q и K, ги нормализира и ги прилага към V, за да получи тежестна сума на стойностите. В multihead attention този процес се повтаря няколко пъти паралелно с различни проекции на Q, K и V, което позволява на модела да улавя различни аспекти на информацията.