Τι είναι το BigBird και ποιο είδος προσοχής συνδυάζει;

Το BigBird είναι μια αρχιτεκτονική μετασχηματιστή σχεδιασμένη για την επεξεργασία πολύ μακρών ακολουθιών, τις οποίες οι παραδοσιακοί μετασχηματιστές δεν μπορούν να επεξεργαστούν αποτελεσματικά λόγω της τετραγωνικής πολυπλοκότητας της προσοχής.

Το BigBird συνδυάζει διάφορους τύπους προσοχής:

• Αποσπασματική (sparse) προσοχή: αντί για πλήρη προσοχή σε όλους τους tokens, η προσοχή περιορίζεται σε ένα υποσύνολο tokens.
• Παγκόσμια προσοχή: ορισμένα ειδικά tokens (π.χ., το token CLS) έχουν πρόσβαση σε όλα τα άλλα tokens, επιτρέποντας τη διατήρηση παγκόσμιας πληροφορίας.
• Τυχαία προσοχή: για κάθε token, επιλέγεται ένα τυχαίο σύνολο άλλων tokens για προσοχή, βοηθώντας στη μοντελοποίηση ποικίλων εξαρτήσεων.
• Προσοχή παραθύρου (window): κάθε token δίνει προσοχή στα γειτονικά tokens μέσα σε ένα σταθερό παράθυρο, διασφαλίζοντας τοπικό πλαίσιο.

Ο συνδυασμός αυτών των τύπων προσοχής επιτρέπει στο BigBird να κλιμακώνεται αποτελεσματικά σε πολύ μακρές ακολουθίες, διατηρώντας την ποιότητα του μοντέλου και μειώνοντας το κόστος υπολογισμού από τετραγωνικό σε γραμμικό ή κοντά σε αυτό.