Miért szükséges a bias=False a modern LLM-ek lineáris rétegeiben?

A modern nagy nyelvi modellekben (LLM) gyakran beállítják a bias=False paramétert a lineáris rétegekben, hogy eltávolítsák a torzítást (bias). Ez azért van, mert a transzformer architektúrában a torzítások redundánsak vagy akár károsak lehetnek, mivel:

• A rétegnormálás (LayerNorm) már tartalmaz eltolást és skálázást, amelyek kompenzálják a bias szükségességét a lineáris rétegekben.
• A bias eltávolítása csökkenti a paraméterek számát, és javíthatja a tanulás stabilitását.
• Bizonyos esetekben a bias túlzott paraméterezéshez vezethet, és csökkentheti a modell általánosítási képességét.

Ezért a bias=False segít a modell kompaktabbá és stabilabbá tételében, különösen akkor, ha más torzítás-kompenzációs mechanizmusok is vannak.

Példa PyTorch-ben:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)