Сравнете pre-norm и post-norm трансформерите. Кой е по-стабилен при обучение на големи дълбочини?

Pre-norm и post-norm са два варианта за разположение на слоя за нормализация (LayerNorm) в архитектурата на трансформера.

• Post-norm (оригиналната версия от Vaswani et al., 2017): нормализацията се прилага след блока за внимание или FFN и след добавянето на остатъчното свързване.

• Pre-norm: нормализацията се прилага преди блока за внимание или FFN, а остатъчното свързване се добавя след него.

Разлики и влияние върху обучението:

• Pre-norm трансформерите обикновено се обучават по-стабилно при по-големи дълбочини (повече слоеве). Това се дължи на факта, че нормализацията преди блока помага за по-добър контрол върху градиентите и предотвратява тяхното изчезване или експлозия.

• В архитектурата post-norm, при увеличаване на броя на слоевете, често възникват проблеми с градиентите, което усложнява обучението на дълбоки модели.

Заключение: за дълбоки трансформери (например, повече от 12 слоя) е по-добре да се използва pre-norm, тъй като осигурява по-стабилно и ефективно обучение.