Linformer რა არის და რატომ ახერხებს ის ხაზოვანი სირთულის მიღწევას?

Linformer — ეს ტრანსფორმატორის არქიტექტურაა, რომელიც ყურადღების გამოთვლითი სირთულეს კვადრატული (O(n²))-დან ლინეურ (O(n))-მდე ამცირებს სექვენის სიგრძეზე.

Linformer-ის ძირითადი იდეაა ყურადღების მატრიცის მიახლოება დაბალი რანგის წარმოდგენით. ყველა ტოკენის წყვილებს შორის სრული ყურადღების გამოთვლის ნაცვლად, Linformer პროექტირებს გასაღებს და მნიშვნელობებს სწავლებადი სწორი ხაზოვანი პროექტიებით უფრო მცირე ზომის სივრცეში.

ეს საშუალებას აძლევს:

• გასაღებების და მნიშვნელობების ზომის შემცირებას,
• მატრიცების გამრავლების გამოთვლების რაოდენობის შემცირებას,
• მეხსიერების მოხმარების შემცირებას.

ამგვარად, ლინეური სირთულე მიღწეულია გამოყენებით ფიქსირებული პროექტირების ზომის, რომელიც არ დამოკიდებულია შესვლის სექვენის სიგრძეზე, რაც Linformer-ს ეფექტურს ხდის გრძელი ტექსტებისა და დიდი სექვენციებისთვის.

შეგვიძლია ეს დაახლოებით ასე წარმოვიდგინოთ:

• ყურადღების გამოთვლის ნაცვლად: Attention(Q, K, V) = softmax(QKᵀ / sqrt(d)) V
• Linformer ითვლის: Attention(Q, E K, F V), სადაც E და F სწავლებადი პროექტირების მატრიცებია, რომლებიც ამცირებენ K და V-ის ზომას.

ეს გამარტივებს გამოთვლებს და ამცირებს სირთულეს O(n)-მდე.