Warum ist bias=False bei linearen Schichten in modernen LLMs notwendig?

In modernen großen Sprachmodellen (LLMs) wird häufig der Parameter bias=False in linearen Schichten gesetzt, um die Verschiebung (Bias) zu entfernen. Dies liegt daran, dass in der Transformer-Architektur Verschiebungen redundant oder sogar schädlich sein können, weil:

• Die Layer-Normalisierung (LayerNorm) bereits Verschiebung und Skalierung beinhaltet, die die Notwendigkeit eines Bias in linearen Schichten ausgleichen.
• Das Entfernen des Bias die Anzahl der Parameter reduziert und die Stabilität des Trainings verbessern kann.
• In manchen Fällen kann Bias zu einer Überparametrisierung führen und die Generalisierungsfähigkeit des Modells verschlechtern.

Daher hilft bias=False, das Modell kompakter und stabiler zu machen, insbesondere wenn andere Mechanismen zur Kompensation der Verschiebung vorhanden sind.

Beispiel in PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)