Ինչու է անհրաժեշտ bias=False-ը ժամանակակից LLM-ների գծային շերտերում?

Ժամանակակից մեծ լեզվային մոդելներում (LLM) հաճախ սահմանվում է bias=False պարամետրը ուղղահայաց շերտերում՝ թափանցիկությունը (bias) հեռացնելու համար: Դա կապված է այն բանի հետ, որ տրանսֆորմատորների ճարտարապետությունում թափանցիկությունները կարող են ավելորդ կամ նույնիսկ վնասակար լինել, քանի որ՝

• LayerNorm-ը արդեն ներառում է տեղափոխում և սանդղակավորում, որոնք փոխհատուցում են ուղղահայաց անհրաժեշտությունը:
• Թափանցիկության հեռացումը նվազեցնում է պարամետրերի քանակը և կարող է բարելավել ուսուցման կայունությունը:
• Որոշ դեպքերում, թափանցիկությունը կարող է հանգեցնել ավելորդ պարամետրավորման և նվազեցնել մոդելի ընդհանուր կարողությունը:

Աստված, bias=False օգնում է մոդելին ավելի կոմպակտ և կայուն դարձնել, հատկապես երբ կան այլ մեխանիզմներ թափանցիկության փոխհատուցման համար:

Օրինակ PyTorch-ում՝

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)