Сравните pre-norm и post-norm трансформеры. Какой стабильнее обучается на больших глубинах?

Pre-norm и post-norm — это два варианта расположения слоя нормализации (LayerNorm) в архитектуре трансформера.

• Post-norm (оригинальный вариант из статьи Vaswani et al., 2017): нормализация применяется после блока внимания или FFN и после добавления остаточного соединения.

• Pre-norm: нормализация применяется перед блоком внимания или FFN, а остаточное соединение добавляется после.

Отличия и влияние на обучение:

• Pre-norm трансформеры обычно обучаются стабильнее на больших глубинах (больше слоев). Это связано с тем, что нормализация до блока помогает лучше контролировать градиенты и предотвращает их затухание или взрыв.

• В post-norm архитектуре при увеличении числа слоев часто возникают проблемы с градиентами, что затрудняет обучение глубоких моделей.

Итог: для глубоких трансформеров (например, более 12 слоев) предпочтительнее использовать pre-norm, так как он обеспечивает более стабильное и эффективное обучение.