De ce este nevoie de bias=False în straturile liniare din LLM-urile moderne?

În modelele moderne mari de limbaj (LLM), se setează adesea parametrul bias=False în straturile liniare pentru a elimina bias-ul. Acest lucru se datorează faptului că în arhitectura transformatoarelor, bias-urile pot fi redundante sau chiar dăunătoare, deoarece:

• Normalizarea pe strat (LayerNorm) include deja deplasare și scalare, care compensează necesitatea bias-ului în straturile liniare.
• Eliminarea bias-ului reduce numărul de parametri și poate îmbunătăți stabilitatea antrenamentului.
• În unele cazuri, bias-ul poate duce la o parametrizare excesivă și la scăderea capacității de generalizare a modelului.

Astfel, bias=False ajută la realizarea unui model mai compact și mai stabil, mai ales atunci când există alte mecanisme de compensare a bias-ului.

Exemplu în PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)