Чаро дар LLM-ҳои муосир bias=False дар қабатҳои хаттӣ лозим аст?

Дар моделҳои муосири бузурги забон (LLM) одатан дар қабатҳои хаттӣ параметри bias=False муқаррар мекунанд, то ки хати (bias) хориҷ карда шавад. Ин бо он алоқаманд аст, ки дар архитектураи трансформерҳо, хатиҳо метавонанд иловагӣ ё ҳатто зарарнок бошанд, зеро:

• Normalization қабатҳо (LayerNorm) аллакай кӯчиш ва скаляркуниро дар бар мегирад, ки ниёз ба bias дар қабатҳои хаттӣро баробар мекунад.
• Баровардани bias шумораи параметрҳоро кам мекунад ва метавонад устувории омӯзишро беҳтар кунад.
• Дар баъзе ҳолатҳо, bias метавонад ба зиёдшавии параметргузорӣ оварда расонад ва қобилияти умумӣ кардани моделро кам кунад.

Аз ин рӯ, bias=False кӯмак мекунад, ки модел кӯтоҳтар ва устувортар шавад, махсусан вақте ки дигар механизмҳои компенсасия барои bias мавҷуданд.

Масалан дар PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)