Come funziona il dropout durante l'addestramento e l'inferenza?

Il dropout è una tecnica di regolarizzazione delle reti neurali che disattiva casualmente (pone a zero) alcune delle neuroni durante l'addestramento per prevenire l'overfitting.

Durante l'addestramento:

• Per ogni esempio di input, una percentuale determinata di neuroni viene disattivata casualmente (ad esempio, dal 20% al 50%).
• Questo costringe la rete a non dipendere da neuroni specifici e migliora la sua capacità di generalizzazione.

Durante l'inferenza (previsione):

• Il dropout non viene applicato, tutti i neuroni sono attivi.
• Per compensare l'assenza di disattivazione dei neuroni, i pesi vengono scalati (generalmente moltiplicati per la probabilità di attivazione del neurone), oppure si utilizza una scalatura durante l'addestramento (dropout invertito).

In questo modo, il dropout aiuta a rendere il modello più robusto e meno incline all'overfitting, ma durante l'inferenza la rete funziona completamente senza disattivazioni casuali.