Wat is pre-LN vs post-LN opwarming en wat zijn de convergentieproblemen bij het begin van de training?

Pre-LN en Post-LN zijn varianten van de plaatsing van de normalisatielaag (Layer Normalization) in de transformer-architectuur, die de stabiliteit en convergentie van de training beïnvloeden.

• Post-LN (na de laag): normalisatie wordt toegepast na het aandacht- en feed-forward-blok. Dit is een klassieke aanpak, maar kan problemen veroorzaken met de gradiënten aan het begin van de training, waardoor de convergentie moeilijk wordt.

• Pre-LN (voor de laag): normalisatie wordt toegepast vóór het aandacht- en feed-forward-blok. Deze aanpak verbetert de stabiliteit van de gradiënten en versnelt de convergentie, vooral in de vroege fasen van de training.

Warmup is een geleidelijke verhoging van de leersnelheid aan het begin van de training, om plotselinge gewichtsupdates te voorkomen en de convergentie te verbeteren.

Problemen met de convergentie aan het begin worden veroorzaakt doordat zonder warmup en met Post-LN de gradiënten te groot of te klein kunnen zijn, wat effectief leren belemmert. Pre-LN in combinatie met warmup helpt deze problemen te verzachten, waardoor een stabielere en snellere training van transformers wordt gegarandeerd.