BigBird nedir ve hangi dikkat türlerini birleştirir?

BigBird, çok uzun dizileri işlemek için tasarlanmış bir dönüştürme mimarisidir; geleneksel dönüştürmeler, dikkat mekanizmasının karekök karmaşıklığı nedeniyle verimli bir şekilde işleyemez.

BigBird, birkaç dikkat türünü birleştirir:

• Seyrek (sparse) dikkat: tüm tokenlara tam dikkat yerine, dikkat bir alt küme token ile sınırlıdır.
• Küresel dikkat: bazı özel tokenlar (örneğin, CLS token) diğer tüm tokenlara erişebilir, bu da küresel bilgiyi korumayı sağlar.
• Rastgele dikkat: her token için, dikkat edilmek üzere rastgele seçilen başka tokenlar kümesi vardır, bu da çeşitli bağımlılıkların modellenmesine yardımcı olur.
• Pencere (window) dikkati: her token, sabit bir penceredeki komşu tokenlara dikkat eder, bu da yerel bağlam sağlar.

Bu dikkat türlerinin birleşimi, BigBird'ün çok uzun dizilere verimli bir şekilde ölçeklenmesini sağlar, model kalitesini korur ve hesaplama maliyetlerini karekökten doğrusal veya ona yakın hale getirir.