Ի՞նչ է self-attention և cross-attention-ի տարբերությունը, և յուրաքանչյուրն ինչու է օգտագործվում:
sobes.tech AI
Պատասխան AI-ից
Ինքնակենտրոն ուշադրություն — դա մեխանիզմ է, որի ժամանակ մուտքային հաջորդականության տարրերը փոխազդում են միմյանց հետ կարևորության քաշեր հաշվարկելու համար: Յուրաքանչյուր տարր 'շրջում է ուշադրությամբ' նույն հաջորդականության մյուս բոլոր տարրերին, որպեսզի հասկանա, թե որոնք են ավելի կարևոր ընթացիկ քայլի համար: Սա հիմնական բաղադրիչ է տրանսֆորմատորներում հաջորդականությունները մշակելու համար, օրինակ՝ լեզվային մոդելներում:
Կտրուկ ուշադրություն — օգտագործվում է, երբ կա երկու տարբեր հաջորդականություն. մեկը որպես հարց (query), մյուսը՝ որպես բանալի և արժեքներ (key, value): Կտրուկ ուշադրությունը թույլ է տալիս մոդելին կենտրոնանալ երկրորդ հաջորդականության համապատասխան մասերի վրա առաջինը մշակելիս: Օրինակ՝ թարգմանության կամ տեքստի սերնդի խնդիրներում, կտրուկ ուշադրությունը կապում է դեկոդերի ելքը էնկոդերի ելքի հետ:
Ամփոփում՝
- Ինքնակենտրոն ուշադրությունը օգնում է մոդելին հաշվի առնել կոնտեքստը նույն հաջորդականության մեջ:
- Կտրուկ ուշադրությունը կապում է երկու տարբեր հաջորդականություններ, թույլ տալով մեկին հաշվի առնել մյուսի տեղեկատվությունը:
Օրինակ՝ թարգմանության համար տրանսֆորմատորում, ինքնակենտրոն ուշադրությունը կիրառվում է էնկոդերի և դեկոդերի ներսում, իսկ կտրուկ ուշադրությունը՝ նրանց միջև։