Kas ir pre-LN vs post-LN iesildīšana un kādas ir konverģences problēmas mācību sākumā?

Pre-LN un Post-LN ir varianti ir normalizācijas slāņa (Layer Normalization) izvietojumam transformatoru arhitektūrā, kas ietekmē mācīšanās stabilitāti un konverģenci.

• Post-LN (pēc slāņa): normalizācija tiek piemērota pēc uzmanības un feed-forward bloka. Šis ir klasiskākais pieejas veids, bet tas var radīt gradientu problēmas mācīšanās sākumā, kas apgrūtina labu konverģenci.

• Pre-LN (pirms slāņa): normalizācija tiek piemērota pirms uzmanības un feed-forward bloka. Šī pieeja uzlabo gradientu stabilitāti un paātrina konverģenci, īpaši sākuma posmos.

Warmup ir pakāpenisks mācīšanās ātruma palielinājums sākumā, lai izvairītos no straujiem svaru atjauninājumiem un uzlabotu konverģenci.

Sākotnējās konverģences problēmas ir saistītas ar to, ka bez warmup un ar Post-LN gradienti var būt pārāk lieli vai pārāk mazi, kas traucē efektīvai mācībai. Pre-LN kopā ar warmup palīdz mazināt šīs problēmas un nodrošina stabilāku un ātrāku transformatoru mācīšanos.