Mis on multi-query tähelepanu ja kus seda kasutatakse?

Mitme päringu tähelepanu on transformaatorite tähelepanu mehhanismi muudatus, kus mitu võtit (keys) ja väärtust (values) ühendatakse ühiseks komplektiks, ning iga päringu (query) jaoks kasutatakse eraldi päringute komplekti. See võimaldab märkimisväärselt vähendada mälu ja arvutuslikke kulusid, eriti pikkade järjestuste töötlemisel, säilitades samal ajal mudeli kvaliteedi.

Mitme päringu tähelepanu peamine rakendus on suurtes keelemudelites ja transformaators, kus tõhusus ja skaleeritavus on olulised, näiteks GPT-4 ja teistes kaasaegsetes arhitektuurides. See lähenemine aitab kiirendada inferentsi ja vähendada ressursside nõudmisi ilma olulise täpsuse kaota.

Näide: selle asemel, et iga tähelepanupead (multi-head attention) jaoks oleksid eraldi võti ja väärtus, kasutavad kõik pead ühise võti ja väärtuste komplekti ning päringud jäävad individuaalseks.