Pre-LN жана post-LN жылытуу деген эмне жана окутуунун башында жакындашуунун көйгөйлөрү кандай?

Pre-LN жана Post-LN трансформаторлордун архитектурасында нормализация катмарынын (Layer Normalization) жайгашуусунун варианттары болуп саналат жана алар үйрөнүүнүн туруктуулугуна жана жакындашуусуна таасир этет.

• Post-LN (катмадан кийин): нормализация көңүл буруу жана feed-forward блокторунан кийин колдонулат. Бул классикалык ыкма, бирок ал үйрөнүүнүн башында градиенттер менен көйгөйлөрдү жаратышы мүмкүн, бул жакшы жакындашууну кыйындатат.

• Pre-LN (катмадан мурун): нормализация көңүл буруу жана feed-forward блокторунан мурун колдонулат. Бул ыкма градиенттердин туруктуулугун жакшыртат жана жакындашууну тездетет, өзгөчө үйрөнүүнүн эрте этаптарында.

Warmup — үйрөнүүнүн башында ылдамдыкты акырындык менен көбөйтүү, бул салкын жаңыртууларды алдын алуу жана жакындашууну жакшыртуу үчүн колдонулат.

Башталгычта жакындашуунун көйгөйлөрү, warmup жок жана Post-LN менен градиенттер өтө чоң же өтө кичинекей болушу мүмкүн, бул эффективдүү үйрөнүүнү кыйындатат. Pre-LN жана warmup биргелешип бул көйгөйлөрдү жумшартууга жардам берет жана трансформаторлордун үйрөнүүсүн туруктуу жана тез кылат.