Замын заманбап LLM-дердеги сызыктуу катмары үчүн bias=False эмне үчүн керек?

Замундук чоң тил моделдеринде (LLM) көбүнчө линейкалык катмандарда bias=False параметри коюлат, ал эми бул түзмө-түз өзгөртүүнү (bias) алып салуу үчүн. Бул трансформаторлордун архитектурасында түзмө-түз өзгөртүүлөрдүн ашыкча же зыяндуу болушу мүмкүн экендиги менен байланыштуу, анткени:

• LayerNorm (катмар нормалдаштыруу) алгачкы жылуу жана масштабдоо камтыйт, бул линейкалык катмандарда түзмө-түз өзгөртүүнүн керектүүлүгүн жоготот.
• Түзмө-түз өзгөртүүнү алып салуу параметрлердин санын азайтат жана үйрөнүүнүн туруктуулугун жакшыртат.
• Кээ бир учурларда, түзмө-түз өзгөртүү ашыкча параметрлештирүүгө алып келиши мүмкүн жана моделдин жалпылоо жөндөмдүүлүгүн төмөндөтүшү мүмкүн.

Ошондуктан, bias=False моделди көбүрөөк компакт жана туруктуу кылууга жардам берет, айрыкча башка компенсация механизмдери бар болсо.

PyTorch мисалы:

import torch.nn as nn

linear = nn.Linear(in_features=768, out_features=768, bias=False)