O que é SwiGLU e em que modelos essa ativação é utilizada?

SwiGLU é uma variante da função de ativação baseada na combinação das funções Swish e GLU (Unidade Linear com Gating). É utilizada em modelos transformadores modernos para melhorar a capacidade da rede de realizar transformações não lineares e aprender.

Formalmente, SwiGLU pode ser representado como:

SwiGLU(x) = x_1 * swish(x_2)

onde a entrada é dividida em duas partes (x_1 e x_2), swish é uma ativação do tipo x * sigmoid(x).

Aplicações:

• Utilizado em arquiteturas de transformadores, por exemplo, em algumas versões de GPT e outros modelos de NLP.
• Permite melhorar a qualidade do treinamento e o desempenho dos modelos através de uma não linearidade mais flexível em comparação com ReLU ou GELU tradicionais.

Assim, SwiGLU é uma forma eficiente de aumentar a capacidade expressiva das redes neurais em tarefas de processamento de linguagem natural.