რატომ არის საჭირო bias=False თანამედროვე LLM-ების ლინეურქა შრეებში?

მოდერნულ დიდ ენოვან მოდელებში (LLM) ხშირად სეტდება პარამეტრი bias=False ხაზოვან ფენებში, რათა ამოიღოს გადახრა (bias). ეს დაკავშირებულია იმასთან, რომ ტრანსფორმატორების არქიტექტურაში გადახრები შეიძლება იყოს ზედმეტი ან甚至 ზიანის მომტანი, რადგან:

• LayerNorm უკვე შეიცავს გადახრას და სკალირებას, რომლებიც კომპენსირებენ ხაზოვანი ფენების საჭიროებას.
• გადახრის ამოღება ამცირებს პარამეტრების რაოდენობას და შეიძლება გაუმჯობესოს სწავლების სტაბილურობა.
• ზოგიერთ შემთხვევაში, გადახრა შეიძლება გამოიწვიოს გადამეტებული პარამეტრიზაცია და შეამციროს მოდელის ზოგადი შესაძლებლობა.

ამიტომ, bias=False ეხმარება მოდელს გახდეს უფრო კომპაქტური და სტაბილური, განსაკუთრებით მაშინ, როდესაც არსებობს სხვა მექანიზმები გადახრის კომპენსაციისთვის.

PyTorch-ის მაგალითი:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)