Prečo je v moderných LLM potrebné bias=False v lineárnych vrstvách?

V moderných veľkých jazykových modeloch (LLM) sa často nastavuje parameter bias=False v lineárnych vrstvách, aby sa odstránil posun (bias). To súvisí s tým, že v architektúre transformerov môžu byť posuny nadbytočné alebo dokonca škodlivé, pretože:

• Normalizácia vrstiev (LayerNorm) už obsahuje posun a škálovanie, ktoré kompenzujú potrebu biasu v lineárnych vrstvách.
• Odstránenie biasu znižuje počet parametrov a môže zlepšiť stabilitu učenia.
• V niektorých prípadoch môže bias viesť k nadmernému parametrizovaniu a znížiť schopnosť modelu generalizovať.

Preto bias=False pomáha urobiť model kompaktnejším a stabilnejším, najmä keď existujú iné mechanizmy na kompenzáciu posunu.

Príklad v PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)