Какво показва векторът на вниманието в трансформерите?

Векторът на вниманието в трансформаторите показва колко силно моделът "внимателно обръща внимание" на всяка дума (или токен) от входната последователност при обработката на конкретен токен на изхода. Проще казано, това са тежести, които определят важността на всеки входен елемент за текущата стъпка.

Например, при превод на изречение в трансформатор, за всяка дума на изхода се изчислява вектор на вниманието, който показва кои думи в входното изречение са най-релевантни за генериране на тази дума. Това позволява на модела да взема предвид контекста и зависимостите между думите, дори ако те са далеч една от друга.

Векторът на вниманието е набор от числа (тегла), обикновено нормализирани с помощта на softmax, където по-големи стойности означават по-голяма важност на съответния входен токен за текущата стъпка.

Пример: ако моделът превежда думата "bank" в контекста на "river bank", векторът на вниманието може да подчертае думите "river" и "bank" във входа, за да разбере правилно значението.