Γιατί χρειάζεται το bias=False στα γραμμικά στρώματα σε σύγχρονες LLM;

Στα σύγχρονα μεγάλα μοντέλα γλώσσας (LLM), συχνά ορίζεται η παράμετρος bias=False στα γραμμικά στρώματα για την αφαίρεση της μετατόπισης (bias). Αυτό σχετίζεται με το γεγονός ότι στην αρχιτεκτονική των μετασχηματιστών, οι μετατοπίσεις μπορεί να είναι πλεονάζουσες ή ακόμη και επιβλαβείς, καθώς:

• Η κανονικοποίηση στρώματος (LayerNorm) περιλαμβάνει ήδη μετατόπιση και κλιμάκωση, που αντισταθμίζουν την ανάγκη για bias στα γραμμικά στρώματα.
• Η αφαίρεση του bias μειώνει τον αριθμό των παραμέτρων και μπορεί να βελτιώσει τη σταθερότητα της εκπαίδευσης.
• Σε ορισμένες περιπτώσεις, το bias μπορεί να οδηγήσει σε υπερπροσαρμογή και να μειώσει την ικανότητα γενίκευσης του μοντέλου.

Έτσι, το bias=False βοηθά στο να γίνει το μοντέλο πιο συμπαγές και σταθερό, ειδικά όταν υπάρχουν άλλα μηχανισμοί αντιστάθμισης του bias.

Παράδειγμα σε PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)