Por que é necessário bias=False nos camadas Lineares em LLMs modernos?

Nos modelos de linguagem grandes (LLM) modernos frequentemente configuram o parâmetro bias=False nas camadas lineares para remover o viés (bias). Isso ocorre porque na arquitetura dos transformadores, os vieses podem ser redundantes ou até prejudiciais, pois:

• A normalização de camadas (LayerNorm) já inclui deslocamento e escalonamento, que compensam a necessidade de bias nas camadas lineares.
• Remover o bias reduz o número de parâmetros e pode melhorar a estabilidade do treinamento.
• Em alguns casos, o bias pode levar a uma parametrização excessiva e diminuir a capacidade de generalização do modelo.

Assim, bias=False ajuda a tornar o modelo mais compacto e estável, especialmente quando há outros mecanismos de compensação do viés.

Exemplo em PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)