Ce este atenția multi-query și unde este utilizată?

Atenția multi-interogare este o modificare a mecanismului de atenție în transformatoare, în care mai multe chei (keys) și valori (values) sunt combinate într-un set comun, iar pentru fiecare interogare (query) se utilizează un set separat de interogări. Acest lucru permite reducerea semnificativă a memoriei și a costurilor de calcul, în special atunci când se lucrează cu secvențe lungi, păstrând în același timp calitatea modelului.

Principala aplicație a atenției multi-interogare este în modelele mari de limbaj și transformatoare, unde eficiența și scalabilitatea sunt importante, de exemplu în GPT-4 și alte arhitecturi moderne. Această abordare ajută la accelerarea inferenței și la reducerea cerințelor de resurse fără o pierdere semnificativă a preciziei.

Exemplu: în loc să aibă chei și valori separate pentru fiecare cap de atenție (multi-head attention), toate capetele folosesc un set comun de chei și valori, iar interogările rămân individuale.