Кадом навъи диққат имкон медиҳад, ки мураккабиятро аз O(n²) паст кунад?

Барои кам кардани мураккабии ҳисоббарории диққат (attention) дар зери квадрати O(n²), намудҳои гуногуни sparse ё линейии диққат истифода мешаванд. Яке аз роҳҳои маъмултарини он Linformer.

Linformer андозаи матрицҳои диққатро бо проексияи калидҳо ва арзишҳо ба фазои пасттар кам мекунад, ки ин мураккабро то O(n) кам мекунад.

Дигар усулҳо:

• Performer — истифодаи проексияҳои тасодуфӣ ва ядроҳо барои ҳисоб кардани назарӣ бо мураккабии линейӣ.
• Reformer — истифодаи диққати маҳаллӣ ва hashing барои кам кардани ҳисобҳо.
• Longformer — омезиши диққати маҳаллӣ ва глобалӣ, ки мураккабиро кам мекунад.

Масалан, дарки назарияи диққати линӣ:

# Псевдокод барои диққати линӣ
Q = матрицаи пурсиш
K = матрицаи калид
V = матрицаи арзиш

# Проексияи K ва V ба фазои пасттар
K_proj = матрицаи проексия @ K
V_proj = матрицаи проексия @ V

# Ҳисоб кардани диққат бо андозаи камтар
attention = softmax(Q @ K_proj.T) @ V_proj

Ин роҳ, ҳаҷми ҳисобҳо ва хотира кам мешавад, ки имкон медиҳад, ки пайдарпайҳои дарозтар коркард шаванд.