Kas ir multi-query uzmanība un kur to izmanto?

Daudzuzvanu uzmanība ir transformatoru uzmanības mehānisma modifikācija, kur vairākas atslēgas (keys) un vērtības (values) tiek apvienotas vienā kopīgā komplektā, un katrai vaicājumam (query) tiek izmantots atsevišķs vaicājumu komplekts. Tas ļauj ievērojami samazināt atmiņas un aprēķinu izmaksas, īpaši strādājot ar garām secībām, vienlaikus saglabājot modeļa kvalitāti.

Galvenā daudzuzklausīšanas uzmanības pielietojuma joma ir lielos valodu modeļos un transformatoros, kur efektivitāte un mērogojamība ir svarīgas, piemēram, GPT-4 un citās mūsdienu arhitektūrās. Šī pieeja palīdz paātrināt inferenci un samazināt resursu prasības bez būtiskas precizitātes zuduma.

Piemērs: vietā, lai katrai uzmanības galvai būtu atsevišķas atslēgas un vērtības, visas galvas izmanto kopēju atslēgu un vērtību komplektu, un vaicājumi paliek individuāli.