Ποια είναι η πολυπλοκότητα σε μνήμη και χρόνο της αυτοπροσοχής;

Η αυτο-προσοχή στους μετασχηματιστές υπολογίζει τις σχέσεις μεταξύ όλων των στοιχείων της εισερχόμενης ακολουθίας, επηρεάζοντας τη δυσκολία του αλγορίθμου.

Ας υποθέσουμε ότι το μήκος της ακολουθίας είναι N και η διάσταση των χαρακτηριστικών είναι d.

• Χρονική πολυπλοκότητα: O(N² * d)

  Αυτό οφείλεται στο ότι, για κάθε ένα από τα N στοιχεία, πρέπει να υπολογιστεί η προσοχή σε κάθε ένα από τα N στοιχεία, και στη συνέχεια να εφαρμοστούν λειτουργίες με διάσταση d.

• Χωρική πολυπλοκότητα: O(N²)

  Απαιτείται η αποθήκευση ενός πίνακα βαρών προσοχής διαστάσεων N×N.

Λόγω της τετραγωνικής εξάρτησης από το μήκος της ακολουθίας, η αυτο-προσοχή γίνεται ένα σημείο συμφόρησης όταν εργάζεστε με πολύ μακριές εισόδους, κάτι που ενθαρρύνει την ανάπτυξη βελτιστοποιήσεων και εναλλακτικών αρχιτεκτονικών (π.χ., αραιή προσοχή).