Transformatorlarda diqqət vektoru nə göstərir?

Transformatorlarda diqqət vektoru modelin giriş ardıcıllığındakı hər bir sözə (və ya tokenə) nə dərəcədə "diqqət etdiyini" göstərir, müəyyən bir çıxış tokenini işləyərkən. Sadə desək, bunlar hər bir giriş elementinin hazırkı addım üçün əhəmiyyətini müəyyən edən çəkilərdir.

Məsələn, transformatorda bir cümlənin tərcüməsi zamanı, hər bir söz üçün diqqət vektoru hesablanır və bu, girişdəki sözlərin hansılarının bu sözü yaratmaq üçün ən uyğun olduğunu göstərir. Bu, modelə kontekst və sözlər arasındakı asılılıqları nəzərə almağa imkan verir, hətta onlar uzaq olsa da.

Diqqət vektoru adətən softmax ilə normallaşdırılmış ədədlər (çəki) toplusudur, burada böyük dəyərlər müvafiq giriş tokeninin hazırkı addım üçün daha çox əhəmiyyətə malik olduğunu göstərir.

Nümunə: model "river bank" kontekstində "bank" sözünü tərcümə edirsə, diqqət vektoru girişdəki "river" və "bank" sözlərini vurğulaya bilər, beləliklə, mənanı düzgün başa düşə bilər.