Dlaczego w nowoczesnych LLM-ach konieczne jest ustawienie bias=False w warstwach liniowych?

W nowoczesnych dużych modelach językowych (LLM) często ustawia się parametr bias=False w warstwach liniowych, aby usunąć przesunięcie (bias). Jest to związane z tym, że w architekturze transformatorów przesunięcia mogą być nadmiarowe lub nawet szkodliwe, ponieważ:

• Normalizacja warstw (LayerNorm) już zawiera przesunięcie i skalowanie, które kompensują potrzebę bias w warstwach liniowych.
• Usunięcie bias zmniejsza liczbę parametrów i może poprawić stabilność uczenia.
• W niektórych przypadkach bias może prowadzić do nadmiernej parametryzacji i pogorszenia zdolności generalizacji modelu.

Dlatego bias=False pomaga uczynić model bardziej zwarty i stabilny, szczególnie gdy istnieją inne mechanizmy kompensacji przesunięcia.

Przykład w PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)