Multi-query diqqət nədir və harada istifadə olunur?
sobes.tech Süni İntellekt
AI-dan cavab
Çox sorğulu diqqət, transformatorlardakı diqqət mexanizminin bir dəyişməsidir; burada bir neçə açar (keys) və dəyər (values) ümumi bir toplanışa birləşdirilir və hər sorğu (query) üçün ayrıca sorğu toplusu istifadə olunur. Bu, xüsusən uzun ardıcıllıqlarla işləyərkən yaddaş və hesablama xərclərini əhəmiyyətli dərəcədə azaltmağa imkan verir və modelin keyfiyyətini qoruyur.
Çox sorğulu diqqətin əsas tətbiqi böyük dil modelləri və transformatorlarda, burada səmərəlilik və miqyaslandırma vacibdir, məsələn, GPT-4 və digər müasir memarlıqda. Bu yanaşma, dəqiqliyi itirmədən çıxışı sürətləndirməyə və resurs tələblərini azaltmağa kömək edir.
Nümunə: hər diqqət başlığı üçün ayrıca açarlar və dəyərlər olmasına baxmayaraq, bütün başlar ümumi açar və dəyər toplusundan istifadə edir və sorğular fərdi qalır.