Šta je SwiGLU i u kojim modelima se koristi ova aktivacija?

SwiGLU je varijanta funkcije aktivacije zasnovana na kombinaciji funkcija Swish i GLU (Gated Linear Unit). Koristi se u savremenim transformator modelima za poboljšanje sposobnosti mreže za nelinearne transformacije i učenje.

Formalno, SwiGLU se može predstaviti kao:

SwiGLU(x) = x_1 * swish(x_2)

gde je ulaz podeljen na dva dela (x_1 i x_2), swish je aktivacija tipa x * sigmoid(x).

Primene:

• Koristi se u arhitekturama transformatora, na primer u nekim verzijama GPT i drugih NLP modela.
• Omogućava poboljšanje kvaliteta obuke i performansi modela putem fleksibilnije nelinearnosti u poređenju sa tradicionalnim ReLU ili GELU.

Dakle, SwiGLU je efikasan način za povećanje izražajne sposobnosti neuronskih mreža u zadacima obrade prirodnog jezika.