BigBird эмне жана ал кандай көңүл буруу түрлөрүн бириктирет?

BigBird — бул трансформатор архитектурасы, алыс узундуктагы үздүкчөлөрдү иштетүү үчүн иштелип чыккан, анткени салттуу трансформаторлор көңүл буруу квадратик татаалдыгынын себебинен натыйжалуу иштей албайт.

BigBird бир нече түрдүү көңүл буруу ыкмаларын бириктирет:

• Чарчаган (sparse) көңүл буруу: бардык токендерге толук көңүл буруу ордуна, көңүл буруу токендердин бир бөлүгүнө чектелет.
• Глобалдык көңүл буруу: айрым атайын токендер (мисалы, CLS токен) башка бардык токендерге жетүү мүмкүнчүлүгүнө ээ, бул глобалдык маалыматты сактоого мүмкүндүк берет.
• Тасаддуфтуу көңүл буруу: ар бир токен үчүн, башка токендердин кездейсоқ топтому тандалат, бул ар түрдүү көзкараштарды моделдөөдө жардам берет.
• Терезе (window) көңүл буруу: ар бир токен белгиленген терезедеги көршү токендерге көңүл бурат, бул жергиликтүү контекстти камсыздайт.

Бул көңүл буруу түрлөрүнүн айкалышы BigBird-ке өтө узун үздүкчөлөргө натыйжалуу масштабдоого мүмкүндүк берет, моделдин сапатын сактап калуу жана эсептөө чыгымдарын квадратик түрдөн линейдүү же ага жакын түргө түшүрүү менен.