Что такое pre-LN vs post-LN warmup и проблемы со сходимостью на старте обучения?

Pre-LN и Post-LN — это варианты расположения слоя нормализации (Layer Normalization) в архитектуре трансформеров, влияющие на стабильность и сходимость обучения.

• Post-LN (после слоя): нормализация применяется после блока внимания и feed-forward. Это классический подход, но он может приводить к проблемам с градиентами на старте обучения, из-за чего модель плохо сходится.

• Pre-LN (до слоя): нормализация применяется перед блоком внимания и feed-forward. Такой подход улучшает стабильность градиентов и ускоряет сходимость, особенно на ранних этапах обучения.

Warmup — это постепенное увеличение скорости обучения в начале тренировки, чтобы избежать резких обновлений весов и улучшить сходимость.

Проблемы со сходимостью на старте связаны с тем, что без warmup и с Post-LN градиенты могут быть слишком большими или малыми, что мешает эффективному обучению. Pre-LN вместе с warmup помогает смягчить эти проблемы, обеспечивая более стабильное и быстрое обучение трансформеров.