Kas yra pre-LN vs post-LN įšilimas ir kokios yra konvergencijos problemos mokymo pradžioje?

Pre-LN ir Post-LN yra transformatorių architektūros normalizacijos sluoksnio (Layer Normalization) išdėstymo variantai, kurie veikia mokymosi stabilumą ir konvergenciją.

• Post-LN (po sluoksnio): normalizacija taikoma po dėmesio ir feed-forward bloko. Tai yra klasikinis požiūris, tačiau jis gali sukelti gradientų problemas mokymosi pradžioje, apsunkindamas gerą konvergenciją.

• Pre-LN (prieš sluoksnį): normalizacija taikoma prieš dėmesio ir feed-forward bloką. Šis požiūris pagerina gradientų stabilumą ir pagreitina konvergenciją, ypač ankstyvosiose mokymosi stadijose.

Warmup yra laipsniškas mokymosi greičio didinimas pradžioje, siekiant išvengti staigių svorių atnaujinimų ir pagerinti konvergenciją.

Pradžioje konvergencijos problemos susijusios su tuo, kad be warmup ir su Post-LN gradientai gali būti per dideli arba per maži, tai trukdo efektyviam mokymuisi. Pre-LN kartu su warmup padeda šias problemas sumažinti ir užtikrina stabilesnį bei greitesnį transformatorių mokymąsi.