Quali strati nelle reti neurali si comportano in modo diverso durante l'addestramento e l'inferenza (Dropout, BatchNorm, ecc.)?

Alcuni strati delle reti neurali si comportano in modo diverso durante le fasi di addestramento (train) e inferenza (inference):

• Dropout: durante l'addestramento, disattiva casualmente una parte dei neuroni per prevenire l'overfitting, mentre durante l'inferenza, tutti i neuroni sono attivi, con le uscite scalate per compensare.
• Normalizzazione del batch (BatchNorm): durante l'addestramento, normalizza gli ingressi dello strato in base al batch corrente, aggiornando le statistiche (media e varianza), mentre durante l'inferenza, utilizza le statistiche accumulate per maggiore stabilità.

In questo modo, questi strati adattano il loro comportamento per garantire un migliore addestramento e un funzionamento corretto del modello durante le predizioni.