Miks on kaasaegsetes LLM-ides lineaarkihtides bias=False vajalik?

Kaasaegsetes suurte keelemudelite (LLM) puhul määratakse sageli lineaarkihtidele parameeter bias=False, et eemaldada nihke (bias). See on seotud sellega, et transformaatormudelite arhitektuuris võivad nihked olla liigsed või isegi kahjulikud, kuna:

• LayerNorm juba sisaldab nihke ja skaleerimist, mis kompenseerivad vajadust bias-i järele lineaarkihtides.
• Bias-i eemaldamine vähendab parameetrite arvu ja võib parandada õppimise stabiilsust.
• Mõnel juhul võib bias põhjustada liigset parameetrite arvutamist ja vähendada mudeli üldistamisvõimet.

Seetõttu aitab bias=False muuta mudeli kompaktsemaks ja stabiilsemaks, eriti kui on olemas teised nihke kompenseerimise mehhanismid.

Näide PyTorchis:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)