Self-attention-ის მეხსიერებისა და დროის სირთულე რა არის?

საკუთარი ყურადღება ტრანსფორმატორებში ითვლის ყველა შესვლის სექვენსის ელემენტებს შორის კავშირს, რაც გავლენას ახდენს ალგორითმის სირთულეზე.

დავუშვათ, სექვენსის სიგრძე არის N და მახასიათებლების ზომა არის d.

• დროის სირთულე: O(N² * d)

  ეს გამოწვეულია იმით, რომ თითოეულ N ელემენტზე საჭიროა გამოთვალოს ყურადღება თითოეულ N ელემენტზე, შემდეგ კი გამოიყენოს ოპერაციები ზომით d.

• მიწის სირთულე: O(N²)

  საჭიროა შენახოს ყურადღების წონების მატრიცა ზომით N×N.

სექვენსის სიგრძეზე კვადრატული დამოკიდებულების გამო, საკუთარი ყურადღება ხდება ბლოკი ძალიან გრძელ შესვლებთან მუშაობისას, რაც სტიმულს აძლევს ოპტიმიზაციების და ალტერნატიული არქიტექტურების (მაგალითად, sparse attention) განვითარებას.