Защо е необходим bias=False в линейните слоеве в съвременните LLM?

В съвременните големи езикови модели (LLM) често се задава параметърът bias=False в линейните слоеве, за да се премахне отклонението (bias). Това е свързано с факта, че в архитектурата на трансформаторите отклоненията могат да бъдат излишни или дори вредни, тъй като:

• Нормализацията на слоевете (LayerNorm) вече включва изместване и мащабиране, които компенсират необходимостта от bias в линейните слоеве.
• Премахването на bias намалява броя на параметрите и може да подобри стабилността на обучението.
• В някои случаи bias може да доведе до прекомерна параметризация и да намали способността на модела да обобщава.

Затова bias=False помага моделът да стане по-компактен и стабилен, особено когато има други механизми за компенсиране на отклонението.

Пример в PyTorch:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)