Transformatorlardagi diqqat vektori nima ko'rsatadi?

Transformatorlarda diqqat vektori modelning kirish ketma-ketligidagi har bir so‘zga (yoki token) qanchalik e’tibor qaratayotganini ko‘rsatadi, ma’lum bir chiqish tokenini ishlash paytida. Oddiy qilib aytganda, bu har bir kirish elementining hozirgi bosqich uchun ahamiyatini belgilovchi vaznlar.

Masalan, transformatorda bir gapni tarjima qilishda, har bir so‘z uchun diqqat vektori hisoblanadi va u, kirishdagi so‘zlar orasida, bu so‘zni ishlab chiqarishda eng muhim bo‘lganlarni ko‘rsatadi. Bu modelga kontekst va so‘zlar o‘rtasidagi bog‘liqliklarni hisobga olish imkonini beradi, hatto ular uzoq bo‘lsa ham.

Diqqat vektori odatda softmax yordamida normallashtirilgan raqamlar (vaznlar) to‘plamidir, katta qiymatlar esa mos keladigan kirish tokenining hozirgi bosqich uchun katta ahamiyatga ega ekanligini ko‘rsatadi.

Misol uchun: model "river bank" kontekstida "bank" so‘zini tarjima qilayotgan bo‘lsa, diqqat vektori kirishda "river" va "bank" so‘zlarini ajratib ko‘rsatishi mumkin, shunda ma’noni to‘g‘ri tushunish mumkin.