Linformer nədir və niyə ona lineyar mürəkkəblik nail olmaq mümkün olur?

Linformer — bu transformator arxitekturası olub, diqqətin hesablama mürəkkəbliyini kvadrat (O(n²))-dən xətə (O(n)) azaldır uzunluq ardıcıllığında.

Linformer-in əsas ideyası diqqət matrisini aşağı-rank təmsilatı ilə yaxınlaşdırmaqdır. Tokenlərin bütün cütlükləri arasında tam diqqəti hesablamaq əvəzinə, Linformer açarları və dəyərləri öyrədilə bilən xətə proyeksiyalar vasitəsilə daha kiçik ölçülü məkana proyeksiyalayır.

Bu, aşağıdakıları mümkün edir:

• Açarların və dəyərlərin ölçüsünü azaltmaq,
• Matris vurma zamanı hesablamaların sayını azaltmaq,
• Yaddaş istifadəsini azaltmaq.

Beləliklə, sabit proyeksiya ölçüsü istifadə edilərək xətə mürəkkəbliyinə nail olunur; bu ölçü giriş ardıcıllığının uzunluğundan asılı deyil və Linformer-i uzun mətnlər və böyük ardıcıllıqlar üçün effektiv edir.

Təxminən belə təsəvvür edilə bilər:

• Diqqəti hesablamaq yerinə: Attention(Q, K, V) = softmax(QKᵀ / sqrt(d)) V
• Linformer hesablayır: Attention(Q, E K, F V), burada E və F öyrədilə bilən proyeksiya matrisləridir və K və V-nin ölçüsünü azaldır.

Bu, hesablamaları sadələşdirir və mürəkkəbliyi O(n)-ə endirir.