Perché è necessario bias=False negli strati lineari negli LLM moderni?

Nei modelli di linguaggio di grandi dimensioni (LLM) moderni, si imposta spesso il parametro bias=False negli strati lineari per rimuovere il bias. Ciò è legato al fatto che nell'architettura dei trasformatori, i bias possono essere ridondanti o addirittura dannosi, poiché:

• La normalizzazione a strati (LayerNorm) include già uno spostamento e una scalatura, che compensano la necessità di bias negli strati lineari.
• Rimuovere il bias riduce il numero di parametri e può migliorare la stabilità dell'addestramento.
• In alcuni casi, il bias può portare a una parametrizzazione eccessiva e ridurre la capacità di generalizzazione del modello.

Pertanto, bias=False aiuta a rendere il modello più compatto e stabile, specialmente quando ci sono altri meccanismi di compensazione del bias.

Esempio in PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)