Какво е multi-query внимание и къде се използва?

Мулти-заявка вниманието е модификация на механизма за внимание в трансформаторите, където няколко ключа (keys) и стойности (values) се обединяват в един общ набор, а за всяка заявка (query) се използва отделен набор от заявки. Това позволява значително намаляване на паметта и изчислителните разходи, особено при работа с дълги последователности, като същевременно се запазва качеството на модела.

Основното приложение на мулти-заявка вниманието е в големи езикови модели и трансформатори, където ефективността и мащабируемостта са важни, например в GPT-4 и други съвременни архитектури. Този подход помага за ускоряване на инференса и намаляване на изискванията към ресурсите без значителна загуба на точност.

Пример: вместо да имате отделни ключове и стойности за всяка глава на вниманието (multi-head attention), всички глави използват общ набор от ключове и стойности, а заявките остават индивидуални.