Как позиционные эмбеддинги изменяют Q, K, V?

Позиционные эмбеддинги добавляют информацию о позиции токена в последовательности к самим эмбеддингам слов, чтобы модель могла учитывать порядок элементов, так как трансформеры не имеют встроенного порядка.

В контексте Q (Query), K (Key) и V (Value) — которые получаются из входных эмбеддингов через линейные преобразования — позиционные эмбеддинги обычно добавляются к входным эмбеддингам до вычисления Q, K и V. Таким образом, позиционная информация инкапсулируется в этих векторах.

Примерно так:

input_embeddings = word_embeddings + positional_embeddings
Q = input_embeddings @ W_Q
K = input_embeddings @ W_K
V = input_embeddings @ W_V

То есть позиционные эмбеддинги изменяют Q, K и V, добавляя к ним информацию о позиции, что позволяет механизму внимания учитывать порядок токенов при вычислении весов внимания.