O que é atenção multi-query e onde ela é usada?

A atenção multi-consulta é uma modificação do mecanismo de atenção em transformadores, onde várias chaves (keys) e valores (values) são combinados em um conjunto comum, e para cada consulta (query), um conjunto separado de consultas é utilizado. Isso permite reduzir significativamente o uso de memória e os custos computacionais, especialmente ao trabalhar com sequências longas, mantendo a qualidade do modelo.

A principal aplicação da atenção multi-consulta é em grandes modelos de linguagem e transformadores, onde a eficiência e a escalabilidade são importantes, por exemplo, no GPT-4 e outras arquiteturas modernas. Essa abordagem ajuda a acelerar a inferência e reduzir os requisitos de recursos sem uma perda substancial de precisão.

Exemplo: em vez de ter chaves e valores separados para cada cabeça de atenção (multi-head attention), todas as cabeças usam um conjunto comum de chaves e valores, e as consultas permanecem individuais.