SwiGLU чист ва дар кадом моделҳо ин фаъолсозӣ истифода мешавад?

SwiGLU — ин навъи функсияи фаъолсозӣ мебошад, ки асосан дар асоси ҳамҷоягии функсияҳои Swish ва GLU (Gated Linear Unit) сохта шудааст. Он дар моделҳои трансформерҳои муосир барои беҳтар кардани қобилияти шабака барои табдилоти ғайрилинейӣ ва омӯзиш истифода мешавад.

Равшан, SwiGLU метавонад ҳамчун:

SwiGLU(x) = x_1 * swish(x_2)

таъриф шавад, ки дар он вуруд ба ду қисм тақсим мешавад (x_1 ва x_2), swish — ин фаъолсозии навъи x * sigmoid(x).

Барномаҳо:

• Дар сохторҳои трансформерҳо, масалан, дар баъзе версияҳои GPT ва дигар моделҳои NLP истифода мешавад.
• Имкон медиҳад, ки сифати омӯзиш ва иҷрои моделҳоро бо истифода аз ғайрилинейии бештар дар муқоиса бо ReLU ё GELU анъанавӣ беҳтар кунад.

Аз ин рӯ, SwiGLU — роҳи муассир барои баланд бардоштани қобилияти ифодаи шабакаҳои нейронӣ дар вазифаҳои коркарди забони табиӣ мебошад.