Ներկայացրեք սքեյլավորված կետային ուշադրության բանաձևը։ Ինչու բաժանել sqrt(d_k)-ի վրա։

Սքալյարացված կետ-միավոր ուշադրությունը մի մեխանիզմ է, որը հաշվում է քաշային գործակիցներ հաջորդականության տարրերի համար՝ հիմնվելով հարցումների (Q) և բանալիների (K) սքալյարային բազմապատկումների վրա։ Ֆորմուլան հետևյալն է.

[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]

Այստեղ՝

• Q — հարցումների մատրից,
• K — բանալի մատրից,
• V — արժեքների մատրից,
• (d_k) — բանալի վեկտորների չափը։

(\sqrt{d_k})-ով բաժանելը անհրաժեշտ է սքալյարային բազմապատկման արդյունքը սքալյարացնել։ Այս քայլի բացակայության դեպքում, բարձր չափչափերում արժեքները կարող են շատ մեծ լինել, ինչը հանգեցնում է շատ մեծ արգումենտների softmax գործառույթում։ Սա առաջացնում է "վերանայվող գրադիենտների" խնդիր՝ softmax-ը դառնում է շատ "խիստ", գրեթե մեկ տարր ստանում է 1 քաշ, մյուսները՝ գրեթե 0, ինչը վատացնում է ուսուցումը։ Սքալյարացումը կայունացնում է գրադիենտները և բարելավում մոդելի կոնվերգենցիան։