Kāpēc mūsdienu LLM-ās ir nepieciešams bias=False lineārajos slāņos?

Mūsdienu lielajos valodas modeļos (LLM) bieži tiek iestatīts parametrs bias=False lineārajos slāņos, lai noņemtu novirzi (bias). Tas ir saistīts ar to, ka transformatoru arhitektūrā novirzes var būt pārmērīgas vai pat kaitīgas, jo:

• LayerNorm jau ietver novirzi un mērogošanu, kas kompensē nepieciešamību pēc bias lineārajos slāņos.
• Bias noņemšana samazina parametru skaitu un var uzlabot apmācības stabilitāti.
• Dažos gadījumos bias var novest pie pārmērīgas parametru skaitļa un samazināt modeļa vispārējo spēju.

Tādēļ bias=False palīdz padarīt modeli kompaktāku un stabilāku, īpaši, ja ir citi mehānismi novirzes kompensācijai.

Piemērs PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)