Millised kolm maatriksit kasutatakse multihead attention'is?

Multihead attention protsessis kasutab kolme peamist maatriksit, mis vormistatakse sisendandmetest:

1. Query (Q) — päringuma maatriks, mis määrab, millisele sisendi elemendile tuleb tähelepanu pöörata.
2. Key (K) — võti maatriks, mida kasutatakse päringutega sobitamiseks ja relevantsuse määramiseks.
3. Value (V) — väärtuste maatriks, mis sisaldab teavet, mis kogutakse tähelepanu tulemusena.

Tähelepanu protsess arvutab tähelepanu kaalu skalaarkorrutise kaudu Q ja K vahel, normaliseerib need ja rakendab V-le, et saada kaalutud väärtuste summa. Multihead attentionis korratakse seda protsessi mitu korda paralleelselt erinevate Q, K ja V projektsioonidega, võimaldades mudelil haarata erinevaid teabe aspekte.