Uporedite pre-norm i post-norm transformere. Koji je stabilniji tokom obuke na velikim dubinama?

Pre-norm i post-norm su dve opcije za raspored sloja normalizacije (LayerNorm) u arhitekturi transformatora.

• Post-norm (originalna verzija Vaswani et al., 2017): normalizacija se primenjuje nakon bloka pažnje ili FFN i nakon dodavanja rezidualne veze.

• Pre-norm: normalizacija se primenjuje pre bloka pažnje ili FFN, a rezidualna veza se dodaje nakon toga.

Razlike i uticaj na obuku:

• Pre-norm transformatori obično se obučavaju stabilnije na većim dubinama (više slojeva). To je zbog toga što normalizacija pre bloka pomaže u boljoj kontroli gradijenata i sprečava njihov nestanak ili eksploziju.

• U arhitekturi post-norm, povećanjem broja slojeva često nastaju problemi sa gradijentima, što otežava obuku dubokih modela.

Zaključak: za duboke transformere (npr. više od 12 slojeva), preporučljivo je koristiti pre-norm, jer obezbeđuje stabilnije i efikasnije obučavanje.