Τι είναι το SwiGLU και σε ποια μοντέλα εφαρμόζεται αυτή η ενεργοποίηση;

Το SwiGLU είναι μια παραλλαγή της λειτουργίας ενεργοποίησης που βασίζεται στον συνδυασμό των λειτουργιών Swish και GLU (Gated Linear Unit). Χρησιμοποιείται σε σύγχρονα μοντέλα μετασχηματιστών για τη βελτίωση της ικανότητας του δικτύου να πραγματοποιεί μη γραμμικές μετασχηματισμούς και να μαθαίνει.

Επίσημα, το SwiGLU μπορεί να αναπαρασταθεί ως:

SwiGLU(x) = x_1 * swish(x_2)

όπου η είσοδος διαιρείται σε δύο μέρη (x_1 και x_2), το swish είναι μια ενεργοποίηση τύπου x * sigmoid(x).

Εφαρμογές:

• Χρησιμοποιείται σε αρχιτεκτονικές μετασχηματιστών, για παράδειγμα σε ορισμένες εκδόσεις του GPT και άλλα μοντέλα NLP.
• Επιτρέπει τη βελτίωση της ποιότητας εκπαίδευσης και της απόδοσης των μοντέλων μέσω μιας πιο ευέλικτης μη γραμμικότητας σε σύγκριση με τα παραδοσιακά ReLU ή GELU.

Έτσι, το SwiGLU είναι ένας αποτελεσματικός τρόπος για να αυξήσετε την εκφραστική ικανότητα των νευρωνικών δικτύων σε εργασίες επεξεργασίας φυσικής γλώσσας.