Modern LLM'lerde Linear katmanlarında neden bias=False kullanılır?

Güncel büyük dil modellerinde (LLM) genellikle doğrusal katmanlarda bias=False parametresi ayarlanır, böylece kayma (bias) kaldırılır. Bu, dönüştürme mimarisinde kaymaların fazla veya hatta zararlı olabileceği durumlarla ilgilidir, çünkü:

• Katman Normalizasyonu (LayerNorm) zaten kaydırma ve ölçeklendirme içerir, bu da doğrusal katmanlarda bias gereksinimini telafi eder.
• Bias'ın kaldırılması, parametre sayısını azaltır ve eğitim kararlılığını artırabilir.
• Bazı durumlarda, bias aşırı parametreleştirmeye yol açabilir ve modelin genelleme yeteneğini azaltabilir.

Bu nedenle, bias=False modeli daha kompakt ve kararlı hale getirmeye yardımcı olur, özellikle diğer kayma telafi mekanizmaları mevcutsa.

PyTorch'ta örnek:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)