Кадом се се истифода мебаранд се матрица дар multihead attention?

Дар multihead attention се истифода мебаранд се матрицаи асосӣ, ки аз маълумоти воридотӣ ташкил мешаванд:

1. Query (Q) — матрицаи пурсишҳо, ки муайян мекунад, ба кадом элементҳои воридот бояд диққат дод.
2. Key (K) — матрицаи калидҳо, ки барои мувофиқ кардани онҳо бо пурсишҳо ва муайян кардани аҳамият истифода мешавад.
3. Value (V) — матрицаи арзишҳо, ки маълумотро дар бар мегирад, ки дар натиҷаи диққат ҷамъоварӣ мешавад.

Раванди диққат вазни диққатро ҳамчун маҳсулоти скалярии байни Q ва K ҳисоб мекунад, онҳоро нормализ мекунад ва ба V татбиқ мекунад, то ҷамъоварии вазнноки арзишҳоро ба даст орад. Дар multihead attention, ин раванд чанд маротиба дар параллел бо пружексияҳои гуногуни Q, K ва V такрор мешавад, ки имкон медиҳад модел ба ҷанбаҳои гуногуни маълумот дастрасӣ пайдо кунад.