Šta je multi-query pažnja i gde se koristi?

Мулти-захтевна пажња је модификација механизма пажње у трансформаторима, где се неколико кључева (keys) и вредности (values) комбинују у један заједнички скуп, а за сваки упит (query) користи се одвојени скуп упита. Ово омогућава значајно смањење количине меморије и рачунских трошкова, посебно при раду са дугим секвенцама, уз очување квалитета модела.

Главна примена мулти-захтевне пажње је у великим језичким моделима и трансформаторима, где је ефикасност и скалабилност важна, на пример у GPT-4 и другим савременим архитектурама. Овај приступ помаже у убрзању инференсе и смањењу захтева за ресурсе без значајног губитка прецизности.

Пример: уместо да свака глава пажње има одвојене кључеве и вредности, све главе користе заједнички скуп кључева и вредности, а упити остају индивидуални.