Ölçülü nöqtə-çarpım diqqət formulunu izah edin. Niyə sqrt(d_k) ilə bölmək lazımdır?
sobes.tech Süni İntellekt
AI-dan cavab
Ölçülü nöqtə-çarpım diqqət mexanizmi, sorğular (Q) və açarlar (K) əsasında ardıcıllıq elementləri üçün çəki koeffisentlərini hesablayan diqqət mexanizmidir. Formula belədir:
[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]
Burada:
- Q — sorğu matrisi,
- K — açar matrisi,
- V — dəyər matrisi,
- (d_k) — açar vektorlarının ölçüsü.
(\sqrt{d_k}) ilə bölmə, skalar çarpımın nəticəsini ölçmək üçün lazımdır. Bu addım olmadan, yüksək ölçülü dəyərlər çox böyük ola bilər, bu da softmax funksiyasının çox böyük arqumentlərinə səbəb olur. Bu, "azalan gradientlər" probleminə gətirib çıxarır — softmax çox "sərt" olur, demək olar ki, bir element 1 çəkisi alır, digərləri isə demək olar ki, 0 olur, bu da təlimi çətinləşdirir. Ölçüləndirmə gradientləri stabilləşdirir və modelin yaxınsamasını yaxşılaşdırır.