¿Por qué es necesario bias=False en las capas lineales en los LLM modernos?

En los modelos de lenguaje grandes (LLM) modernos, a menudo se establece el parámetro bias=False en las capas lineales para eliminar el sesgo (bias). Esto se debe a que en la arquitectura de transformadores, los sesgos pueden ser redundantes o incluso perjudiciales, ya que:

• La normalización de capas (LayerNorm) ya incluye desplazamiento y escalado, que compensan la necesidad de bias en las capas lineales.
• Eliminar el bias reduce el número de parámetros y puede mejorar la estabilidad del entrenamiento.
• En algunos casos, el bias puede llevar a una parametrización excesiva y disminuir la capacidad de generalización del modelo.

Por lo tanto, bias=False ayuda a hacer el modelo más compacto y estable, especialmente cuando existen otros mecanismos de compensación del sesgo.

Ejemplo en PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)