Leg uit de formule van geschaalde dot-product aandacht. Waarom delen door sqrt(d_k)?
sobes.tech AI
Antwoord van AI
Geliştirilmiş noktasal çarpım dikkati, dizideki öğeler için ağırlık katsayılarını hesaplayan bir dikkat mekanizmasıdır ve sorgular (Q) ile anahtarlar (K) arasındaki skalar çarpımlar temel alınır. Formül şu şekildedir:
[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]
Burada:
- Q — sorgu matrisi,
- K — anahtar matrisi,
- V — değer matrisi,
- (d_k) — anahtar vektörlerinin boyutu.
(\sqrt{d_k}) ile bölme, skalar çarpım sonucunu ölçeklendirmek için gereklidir. Bu adım olmadan, yüksek boyutlarda değerler çok büyük olabilir, bu da softmax fonksiyonunun argümanlarının çok büyük olmasına neden olur. Bu, "sönümlenen gradyanlar" sorununa yol açar — softmax çok "sert" hale gelir, neredeyse bir öğe 1 ağırlığı alır, diğerleri ise neredeyse 0 olur, bu da eğitimi zorlaştırır. Ölçeklendirme, gradyanları stabilize eder ve modelin yakınsamasını iyileştirir.