Kas ir BigBird un kādus uzmanības veidus tas apvieno?

BigBird ir transformatora arhitektūra, kas izstrādāta ļoti garu secību apstrādei, kuras tradicionālie transformatori efektīvi nespēj apstrādāt kvadrātiskās uzmanības sarežģītības dēļ.

BigBird apvieno vairākus uzmanības veidus:

• Retā (sparse) uzmanība: vietā, lai pilnībā pievērstu uzmanību visiem tokeniem, uzmanība ir ierobežota līdz apakškopai no tokeniem.
• Globālā uzmanība: dažiem īpašiem tokeniem (piemēram, CLS tokenam) ir piekļuve visiem citiem tokeniem, ļaujot saglabāt globālo informāciju.
• Nejauša uzmanība: katram tokenam tiek izvēlēta nejauša citu tokenu grupa uzmanības mērķiem, kas palīdz modelēt dažādas atkarības.
• Loga (window) uzmanība: katrs tokens pievērš uzmanību blakus esošajiem tokeniem noteiktā logā, nodrošinot vietējo kontekstu.

Šo uzmanības veidu kombinācija ļauj BigBird efektīvi mērogot uz ļoti garām secībām, saglabājot modeļa kvalitāti un samazinot aprēķinu izmaksas no kvadrātiskām līdz lineārām vai tuvu tām.