Ի՞նչ է self-attention-ի հիշողության և ժամանակի բարդությունը։

Ինքնագնահատումը տրանսֆորմատորներում հաշվարկում է բոլոր մուտքային հաջորդականության տարրերի միջև կապերը, ինչը ազդում է ալգորիթմի բարդության վրա:

Ենթադրենք, որ հաջորդականության երկարությունը N է, իսկ հատկանիշների չափը d:

• Ժամանակային բարդություն: O(N² * d)

  Դա պայմանավորված է նրանով, որ յուրաքանչյուր N տարրից համար անհրաժեշտ է հաշվարկել ուշադրությունը յուրաքանչյուր N տարրին, ապա կիրառել d չափի գործողություններ:

• Տարածքային բարդություն: O(N²)

  Պահանջվում է պահել ուշադրության քաշերի մատրիցա չափով N×N:

Քառակուսային կախվածությունը հաջորդականության երկարությունից դարձնում է ինքնագնահատումը խիտ կետ, երբ աշխատում եք շատ երկար մուտքերով, ինչը խթանում է օպտիմալացումների և այլընտրանքային ճարտարապետությունների (օրինակ, sparse attention) զարգացմանը։