Kas yra multi-query dėmesys ir kur jis naudojamas?

Daugiau užklausų dėmesys yra transformatorių dėmesio mechanizmo modifikacija, kur keli raktai (keys) ir reikšmės (values) yra sujungti į bendrą rinkinį, o kiekvienai užklausai (query) naudojamas atskiras užklausų rinkinys. Tai leidžia žymiai sumažinti atminties ir skaičiavimo išlaidas, ypač dirbant su ilgomis sekvencijomis, išlaikant modelio kokybę.

Pagrindinis daugiaužklausės dėmesio taikymas yra dideliuose kalbos modeliuose ir transformatoriuose, kur efektyvumas ir mastelio keitimas yra svarbūs, pavyzdžiui, GPT-4 ir kituose šiuolaikiniuose architektūrose. Šis požiūris padeda paspartinti inferenciją ir sumažinti išteklių reikalavimus be reikšmingo tikslumo praradimo.

Pavyzdys: vietoj to, kad kiekvienai dėmesio galvai turėtumėte atskirus raktus ir reikšmes, visos galvos naudoja bendrą raktų ir reikšmių rinkinį, o užklausos lieka individualios.