Čo je multi-query pozornosť a kde sa používa?

Multi-dotazová pozornosť je modifikácia mechanizmu pozornosti v transformeroch, kde je niekoľko kľúčov (keys) a hodnôt (values) zlúčených do jedného spoločného súboru, a pre každý dotaz (query) sa používa samostatný súbor dotazov. To umožňuje výrazne znížiť množstvo pamäte a výpočtové náklady, najmä pri práci s dlhými sekvenciami, pričom si zachováva kvalitu modelu.

Hlavné použitie multi-dotazovej pozornosti je v veľkých jazykových modeloch a transformeroch, kde je dôležitá efektívnosť a škálovateľnosť, napríklad v GPT-4 a ďalších moderných architektúrach. Tento prístup pomáha zrýchliť inference a znížiť požiadavky na zdroje bez podstatnej straty presnosti.