Ի՞նչ է ցույց տալիս ուշադրության վեկտորը փոխակերպիչներում։

Տարբերակիչ վեկտորը տրանսֆորմատորներում ցույց է տալիս, թե որքան ուժեղ է մոդելը «ուշադրություն դարձնում» յուրաքանչյուր բառի (կամ տոքենի) վրա մուտքային հաջորդականությունում՝ երբ մշակվում է կոնկրետ ելքային տոքենը։ Պարզ ասած, դրանք քաշեր են, որոնք որոշում են յուրաքանչյուր մուտքային տարրերի կարևորությունը ընթացիկ քայլի համար։

Օրինակ, երբ թարգմանում եք նախադասություն տրանսֆորմատորում, յուրաքանչյուր բառի համար հաշվարկվում է ուշադրության վեկտոր, որը ցույց է տալիս, թե որ բառերը մուտքային նախադասությունում առավել կարևոր են այդ բառի ստեղծման համար։ Սա թույլ է տալիս մոդելին հաշվի առնել կոնտեքստը և կախվածությունները բառերի միջև, նույնիսկ եթե դրանք հեռու են միմյանցից։

Աշխատանքի վեկտորը թվերի (շարժականների) հավաքածու է, որը սովորաբար նորմալիզացվում է softmax-ով, որտեղ մեծ արժեքները ցույց են տալիս համապատասխան մուտքային տոքենի ավելի մեծ կարևորությունը ընթացիկ քայլի համար։

Օրինակ՝ եթե մոդելը թարգմանում է «bank» բառը «river bank» կոնտեքստում, ապա ուշադրության վեկտորը կարող է ընդգծել մուտքային «river» և «bank» բառերը՝ ճիշտ հասկանալու համար իմաստը։