Czym jest rozgrzewka pre-LN vs post-LN i jakie są problemy z zbieżnością na początku treningu?

Pre-LN i Post-LN to warianty umiejscowienia warstwy normalizacji (Layer Normalization) w architekturze transformerów, które wpływają na stabilność i zbieżność treningu.

• Post-LN (po warstwie): normalizacja jest stosowana po bloku uwagi i feed-forward. Jest to klasyczne podejście, ale może powodować problemy z gradientami na początku treningu, co utrudnia zbieżność.

• Pre-LN (przed warstwą): normalizacja jest stosowana przed blokiem uwagi i feed-forward. Takie podejście poprawia stabilność gradientów i przyspiesza zbieżność, szczególnie na wczesnych etapach treningu.

Warmup to stopniowe zwiększanie szybkości uczenia się na początku treningu, aby uniknąć nagłych zmian wag i poprawić zbieżność.

Problemy ze zbieżnością na początku są związane z tym, że bez warmup i z Post-LN gradienty mogą być zbyt duże lub zbyt małe, co utrudnia efektywny trening. Pre-LN w połączeniu z warmup pomaga złagodzić te problemy, zapewniając bardziej stabilny i szybki trening transformerów.