Waarom is bias=False nodig bij lineaire lagen in moderne LLM's?

In moderne grote taalmodellen (LLM) wordt vaak de parameter bias=False ingesteld in lineaire lagen om de bias te verwijderen. Dit komt doordat in de transformer-architectuur biases overbodig of zelfs schadelijk kunnen zijn, omdat:

• LayerNorm al verschuiving en schaalverdeling bevat, die de noodzaak van bias in lineaire lagen compenseert.
• Het verwijderen van bias het aantal parameters vermindert en de stabiliteit van de training kan verbeteren.
• In sommige gevallen kan bias leiden tot overparametrisatie en het generalisatievermogen van het model verminderen.

Daarom helpt bias=False om het model compacter en stabieler te maken, vooral wanneer er andere mechanismen voor bias-compensatie zijn.

Voorbeeld in PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)