Czym jest SwiGLU i w jakich modelach jest stosowana ta aktywacja?

SwiGLU to odmiana funkcji aktywacji opartej na połączeniu funkcji Swish i GLU (Gated Linear Unit). Jest stosowana w nowoczesnych modelach transformatorowych, aby poprawić zdolność sieci do wykonywania nieliniowych przekształceń i uczenia się.

Formalnie, SwiGLU można przedstawić jako:

SwiGLU(x) = x_1 * swish(x_2)

gdzie wejście jest podzielone na dwie części (x_1 i x_2), swish to aktywacja typu x * sigmoid(x).

Zastosowania:

• Używana w architekturach transformatorów, na przykład w niektórych wersjach GPT i innych modelach NLP.
• Pozwala na poprawę jakości uczenia i wydajności modeli dzięki bardziej elastycznej nieliniowości w porównaniu z tradycyjnymi ReLU lub GELU.

W związku z tym, SwiGLU jest skutecznym sposobem na zwiększenie zdolności wyrażeniowej sieci neuronowych w zadaniach przetwarzania języka naturalnego.