Cos'è il riscaldamento pre-LN vs post-LN e quali sono i problemi di convergenza all'inizio dell'addestramento?

Pre-LN e Post-LN sono varianti della posizione dello strato di normalizzazione (Layer Normalization) nell'architettura dei trasformatori, che influenzano la stabilità e la convergenza dell'addestramento.

• Post-LN (dopo lo strato): la normalizzazione viene applicata dopo il blocco di attenzione e feed-forward. Questo approccio classico può causare problemi con i gradienti all'inizio dell'addestramento, rendendo difficile la convergenza.

• Pre-LN (prima dello strato): la normalizzazione viene applicata prima del blocco di attenzione e feed-forward. Questo metodo migliora la stabilità dei gradienti e accelera la convergenza, specialmente nelle prime fasi dell'addestramento.

Warmup è un aumento graduale della velocità di apprendimento all'inizio dell'addestramento, per evitare aggiornamenti bruschi dei pesi e migliorare la convergenza.

I problemi di convergenza all'inizio sono legati al fatto che, senza warmup e con Post-LN, i gradienti possono essere troppo grandi o troppo piccoli, ostacolando un apprendimento efficace. Pre-LN combinato con warmup aiuta ad attenuare questi problemi, garantendo un addestramento più stabile e rapido dei trasformatori.