Zamonaviy LLM-lardagi lineer qatlamlarda bias=False nima uchun kerak?

Zamonaviy katta til modellari (LLM)da ko'pincha chiziqli qatlamlarda bias=False parametri o'rnatiladi, bu esa biasni olib tashlash uchun. Bu, transformator arxitekturasida biaslar ortiqcha yoki hatto zararli bo'lishi mumkinligi bilan bog'liq, chunki:

• LayerNorm (Qavat Normallashtirish) allaqachon siljish va o'lchashni o'z ichiga oladi, bu esa chiziqli qatlamlarda biasga bo'lgan ehtiyojni qoplaydi.
• Biasni olib tashlash parametrlar sonini kamaytiradi va o'qitish barqarorligini yaxshilashi mumkin.
• Ba'zi hollarda, bias ortiqcha parametrizatsiyaga olib kelishi va modelning umumiylashuv qobiliyatini pasaytirishi mumkin.

Shuning uchun, bias=False modelni yanada kompakt va barqaror qilishga yordam beradi, ayniqsa boshqa bias kompensatsiya mexanizmlari mavjud bo'lsa.

PyTorchda misol:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)