Тафсилоти дар бораи диққати бисардар: Q/K/V чист, чӣ гуна вазни диққат ҳисоб карда мешавад, чаро чанд сар ҳаст.

Мултихед назар — як механизми асосӣ дар трансформаторҳо, ки имкон медиҳад модел ҳамзамон ба қисмҳои гуногуни вуруди пайдарпай диққат диҳад.

• Q (Пурсиш), K (Калид), V (Қимат) — се матрица, ки аз маълумоти вуруди тавассути трансформатсияҳои линейӣ, ки метавонанд омӯзонида шаванд, ба даст меоянд. Ҳар як ҷойгиршавӣ дар пайдарпайӣ ба се вектор табдил меёбад:

  • Пурсиш — пурсиш, ки барои он маълумоти дахлдор ҷустуҷӯ мешавад.
  • Калид — калид, ки бо он пурсиш муқоиса мешавад.
  • Қимат — қимат, ки ҳамчун ҷавоб ба пурсиш баргардонида мешавад.

• Ҳисоб кардани вазни диққат:

  1. Маҳсулоти скалярии байни Query ва Key барои ҳар як ҷуфт ҷойгиршавӣ ҳисоб карда мешавад.
  2. Натиҷа (одатан бо решаи димензияи калидҳо тақсим мешавад) барои устувории градиентҳо скейл карда мешавад.
  3. Softmax татбиқ мешавад, то тақсимоти эҳтимолиятӣ ба даст ояд.
  4. Вазнҳо бо Қиматҳои мувофиқ дармояд ва натиҷаҳо ҷамъ мешаванд — ин аст баромади диққат.

• Чаро чанд сар (multi-head)? Бештар аз як сар имкон медиҳад, ки модел маълумотро аз нуқтаҳои назари гуногун бубинад, яъне ҳар як сар омӯхтааст, ки вобастагиҳо ва намунаҳои гуногунро дар маълумот барҷаста кунад. Ин қобилияти ифода ва сифати моделро баланд мебардорад.

Масалан соддакардашуда:

# Барои ҳар як сар:
Q_i = X * W_Q_i
K_i = X * W_K_i
V_i = X * W_V_i

вазифаи диққат = softmax((Q_i @ K_i.T) / sqrt(d_k))
баромад_i = вазифаи диққат @ V_i

# Ҳамроҳ кардани баромадҳои ҳамаи сарҳо
баромад = concat(баромад_1, ..., баромад_h) * W_O

Куҷо W_Q_i, W_K_i, W_V_i, W_O — матрицҳои омӯзишӣ, d_k — андозаи калидҳо, ва h — шумораи сарҳо.