Linformer эмне жана эмне үчүн ал сызыктуу татаалдыкка жетишет?

Linformer — бул трансформатор архитектурасы, ал көңүл бууунун эсептөө татаалдыгын квадратик (O(n²))тан сызыктуу (O(n))га чейин кыскартат.

Linformerдин негизги идеясы — көңүл буууну матрицасын төмөн рангдуу көрсөтмө менен жакындаштыруу. Бардык токендердин бардык жуптарынын ортосундагы толук көңүл бууну эсептөө ордуна, Linformer ачкычтарды жана маанилерди үйрөнүүчү сызыктуу проекциялар аркылуу кичирейтилген кеңейтүүгө проекциялайт.

Бул төмөнкүлөргө мүмкүндүк берет:

• ачкычтар жана маанилердин өлчөмүн кыскартуу,
• матрицалардын көбөйтүүлөрүндө эсептөөлөрдүн санын азайтуу,
• эс тутумду азайтуу.

Мындайча айтканда, линейдүү татаалдык белгилүү бир проекциянын өлчөмүн колдонуу менен жетишилет, ал кирүү үзүндүсүнүн узундугуна көз каранды эмес, бул Linformerди узун тексттер жана чоң үзүндүлөр үчүн эффективдүү кылат.

Бул төмөнкүчө элестетсе болот:

• Бардык көңүл бууну эсептөө ордуна: Attention(Q, K, V) = softmax(QKᵀ / sqrt(d)) V
• Linformer эсептейт: Attention(Q, E K, F V), анда E жана F — үйрөнүүчү проекция матрицалары, алар K жана Vдин өлчөмүн кыскартат.

Бул эсептөөлөрдү жөнөкөйлөтөт жана татаалдыкты O(n)-ге чейин азайтат.