Ce trei matrici sunt utilizate în atenția multi-head?

În atenția multi-head, se utilizează trei matrici principale, care sunt formate din datele de intrare:

1. Query (Q) — matricea de interogare, care determină asupra căror elemente de intrare trebuie să se acorde atenție.
2. Key (K) — matricea de chei, utilizată pentru a se potrivi cu interogările și pentru a determina relevanța.
3. Value (V) — matricea de valori, care conține informația ce va fi agregată în rezultatul atenției.

Procesul de atenție calculează greutățile de atenție ca produs scalar între Q și K, le normalizează și le aplică pe V pentru a obține o sumă ponderată a valorilor. În atenția multi-head, acest proces se repetă de mai multe ori în paralel cu diferite proiecții ale Q, K și V, ceea ce permite modelului să captureze diferite aspecte ale informației.