Middle — Senior
Ի՞նչ է BigBird-ը և ինչ տեսակի ուշադրություն է համատեղում:
sobes.tech AI
Պատասխան AI-ից
BigBird-ը տրանսֆորմատորի ճարտարապետություն է, որը նախագծված է շատ երկար հաջորդականությունները մշակելու համար, որոնք ավանդական տրանսֆորմատորները չեն կարող արդյունավետ մշակել ուշադրության քառակուսային բարդության պատճառով:
BigBird-ը միավորում է մի քանի տեսակի ուշադրություն:
- Անվական (sparse) ուշադրություն՝ փոխարեն ամբողջական ուշադրության բոլոր տոքենների վրա, ուշադրությունը սահմանափակվում է տոքենների ենթակտով։
- Գլոբալ ուշադրություն՝ որոշ հատուկ տոքեններ (օրինակ, CLS տոքեն) ունեն հասանելիություն բոլոր մյուս տոքեններին, ինչը թույլ է տալիս պահպանել գլոբալ տեղեկատվությունը։
- Անհատական ուշադրություն՝ յուրաքանչյուր տոքեն ընտրում է այլ տոքենների պատահական հավաքածու, ինչը օգնում է մոդելավորել տարբեր կախվածություններ։
- Ձևաչափ (window) ուշադրություն՝ յուրաքանչյուր տոքեն ուշադրություն է դարձնում հարևան տոքեններին սահմանված պատուհանի մեջ, ինչը ապահովում է տեղական կոնտեքստ։
Այս տեսակի ուշադրությունների համադրությունը թույլ է տալիս BigBird-ին արդյունավետ կերպով ընդլայնել շատ երկար հաջորդականությունների վրա, պահպանելով մոդելի որակը և նվազեցնելով հաշվարկային ծախսերը քառակուսայինից դեպի գծային կամ մոտավորապես այդպիսին։