Co je SwiGLU a v jakých modelech se používá tato aktivace?

SwiGLU je varianta aktivační funkce založená na kombinaci funkcí Swish a GLU (Gated Linear Unit). Používá se v moderních transformátorových modelech ke zlepšení schopnosti sítě provádět nelineární transformace a učit se.

Formálně lze SwiGLU představit jako:

SwiGLU(x) = x_1 * swish(x_2)

kde je vstup rozdělen na dvě části (x_1 a x_2), swish je aktivace typu x * sigmoid(x).

Použití:

• Používá se v architekturách transformerů, například v některých verzích GPT a dalších NLP modelech.
• Umožňuje zlepšit kvalitu učení a výkon modelů díky flexibilnější nelinearitě ve srovnání s tradičními ReLU nebo GELU.

Tedy, SwiGLU je efektivní způsob, jak zvýšit výrazovou schopnost neuronových sítí v úlohách zpracování přirozeného jazyka.