Multi-query e'tibor nima va uni qayerda ishlatiladi?

Ko‘p so‘rovli e’tibor — bu transformatorlardagi e’tibor mexanizmining bir o‘zgartirishidir, bunda bir nechta kalitlar (keys) va qiymatlar (values) umumiy to‘plamga birlashtiriladi, va har bir so‘rov (query) uchun alohida so‘rovlar to‘plami ishlatiladi. Bu, ayniqsa, uzun ketma-ketliklar bilan ishlashda, xotira va hisoblash xarajatlarini sezilarli darajada kamaytirishga imkon beradi, model sifatini saqlab qolgan holda.

Ko‘p so‘rovli e’tibor asosiy qo‘llanilishi katta til modellari va transformatorlarda, bu yerda samaradorlik va kengaytuvchanlik muhim, masalan, GPT-4 va boshqa zamonaviy arxitekturalarda. Bu yondashuv, aniqlikdan sezilarli darajada voz kechmasdan, inferensiyani tezlashtirish va resurs talablarini kamaytirishga yordam beradi.

Misol: har bir e’tibor boshligi uchun alohida kalitlar va qiymatlar o‘rniga, barcha boshlar umumiy kalitlar va qiymatlar to‘plamini ishlatadi, va so‘rovlar individual qoladi.