Perché la regolarizzazione aiuta a combattere il sovrallenamento?

La regolarizzazione aiuta a combattere il sovraccarico, aggiungendo una penalità aggiuntiva per la complessità del modello alla funzione di perdita. Questo spinge il modello a evitare soluzioni troppo complesse, che si adattano bene ai dati di addestramento ma si generalizzano male a nuovi dati.

Le principali ragioni dell'efficacia della regolarizzazione:

• Riduzione del sovraccarico: La regolarizzazione limita la grandezza dei parametri del modello (ad esempio, i pesi in una rete neurale), prevenendo un adattamento eccessivo al rumore nei dati.
• Semplificazione del modello: Aggiungendo una penalità per coefficienti grandi, la regolarizzazione favorisce modelli più semplici e stabili.

Esempio: La regolarizzazione L2 (Ridge) aggiunge alla funzione di perdita la somma dei quadrati dei pesi:

[ Loss = Loss_{original} + \lambda \sum w_i^2 ]

dove ( \lambda ) è il coefficiente di regolarizzazione, che controlla il grado di penalità.

In questo modo, la regolarizzazione aiuta il modello a essere più generalizzabile e resistente a nuovi dati.