Cos'è il bagging e perché riduce la varianza del modello?

Il bagging (Bootstrap Aggregating) è un metodo di ensemble di modelli in cui vengono create molteplici campioni di addestramento tramite bootstrap (campionamento casuale con reinserimento dai dati originali). Per ogni campione, viene addestrato un modello separato, e la previsione finale si ottiene mediando (per regressione) o votando (per classificazione) i risultati di tutti i modelli.

Perché il bagging riduce la varianza:

• Ogni modello viene addestrato su dati leggermente diversi, quindi gli errori dei modelli non sono completamente correlati.
• La media dei risultati riduce l’influenza degli errori casuali di modelli individuali.
• Di conseguenza, l’insieme diventa più resistente all’overfitting e al rumore nei dati.

In questo modo, il bagging riduce la dispersione (varianza) del modello, aumentando la sua stabilità e capacità di generalizzazione.