Pre-LN ve post-LN ısınması nedir ve eğitim başlangıcında karşılaşılan yakınsama sorunları nelerdir?

Pre-LN ve Post-LN, dönüştürücü mimarilerde normalizasyon katmanının (Layer Normalization) konumlandırma seçenekleridir ve eğitimdeki kararlılık ve yakınsamayı etkiler.

• Post-LN (katmandan sonra): normalizasyon, dikkat ve feed-forward bloğundan sonra uygulanır. Bu klasik bir yaklaşımdır, ancak eğitim başlangıcında gradyan sorunlarına yol açabilir, bu da modelin iyi yakınsamamasını engeller.

• Pre-LN (katmandan önce): normalizasyon, dikkat ve feed-forward bloğundan önce uygulanır. Bu yaklaşım, gradyanların kararlılığını artırır ve yakınsamayı hızlandırır, özellikle eğitim başlangıcında.

Warmup, eğitim başlangıcında öğrenme hızını kademeli olarak artırmak için kullanılır, böylece ani ağırlık güncellemelerinden kaçınılır ve yakınsama iyileştirilir.

Başlangıçta yakınsama sorunları, warmup olmadan ve Post-LN ile gradyanların çok büyük veya küçük olmasından kaynaklanabilir, bu da etkili eğitimi engeller. Pre-LN ve warmup birlikte kullanıldığında bu sorunlar hafifletilir ve dönüştürücülerin daha stabil ve hızlı eğitimi sağlanır.