BigBird nədir və hansı diqqət növlərini birləşdirir?

BigBird — bu çox uzun ardıcıllıqları emal etmək üçün hazırlanmış transformator arxitekturasıdır; ənənəvi transformatorlar kvadrat mürəkkəbliyi səbəbindən effektiv şəkildə idarə edə bilməz.

BigBird müxtəlif diqqət növlərini birləşdirir:

• Səpələnmiş (sparse) diqqət: bütün tokenlara tam diqqət yerinə, diqqət tokenlərin alt toplusuna məhdudlaşdırılır.
• Qlobal diqqət: bəzi xüsusi tokenlar (məsələn, CLS token) digər bütün tokenlara çıxış əldə edir, bu da qlobal məlumatın saxlanmasına imkan verir.
• Təsadüfi diqqət: hər token üçün, diqqət üçün təsadüfi seçilmiş digər tokenlər toplusu seçilir, bu da müxtəlif asılılıqları modelləşdirməyə kömək edir.
• Pəncərə (window) diqqəti: hər token, müəyyən edilmiş pəncərədəki qonşu tokenlara diqqət yetirir, bu da yerli konteksti təmin edir.

Bu diqqət növlərinin birləşməsi BigBird-ün çox uzun ardıcıllıqlara effektiv şəkildə miqyaslanmasına imkan verir, model keyfiyyətini qoruyur və hesablama xərclərini kvadratlıqdan xətisaya və ya ona yaxın hala gətirir.