E'tibor nima?

Diqqat — bu neyron tarmoqlardagi mexanizm bo‘lib, modelga kirish ma’lumotlarining eng muhim qismlariga e’tibor qaratish imkonini beradi. An’anaviy modellardan farqli o‘laroq, ular barcha ma’lumotlarni teng ravishda ishlamay, diqqat dinamik ravishda turli elementlarning hissasini baholaydi, bu esa ma’lumotlarni tushunish va yaratish sifatini yaxshilaydi.

Masalan, tabiiy tilni qayta ishlash vazifalarida, diqqat modelga so‘zlarning kontekstini hisobga olishga yordam beradi, muhim so‘zlarni tarjima qilish yoki savollarga javob berishda ajratib ko‘rsatadi.

Oddiy diqqat misoli (skalalar nuqtali ko‘paytma diqqat) pseudokodda:

# Q, K, V — so‘rovlar, kalitlar va qiymatlar matritsalari
scores = Q @ K.T / sqrt(d_k)  # o‘xshashlikni hisoblash
weights = softmax(scores)    # vaznlarni normallashtirish
output = weights @ V          # qiymatlarning vaznli yig‘indisi

Diqqat mexanizmi transformator arxitekturalarining asosini tashkil etadi, ular zamonaviy AI freymvorklarida keng qo‘llaniladi.