Quali modelli minimizzano il bias e quali la varianza, confrontando boosting e bagging?

Bagging e boosting sono metodi ensemble che influenzano in modo diverso il bias (errore sistematico) e la varianza (dispersione) del modello.

• Bagging (ad esempio, foresta casuale) riduce principalmente la varianza. Costruisce molteplici modelli su diversi sottoinsiemi di dati con campionamento con reinserimento e ne media le previsioni, riducendo l'overfitting e la dispersione, ma non influisce molto sul bias.

• Boosting (ad esempio, AdaBoost, Gradient Boosting) mira a ridurre il bias. Allena sequenzialmente modelli, ognuno dei quali corregge gli errori dei precedenti, permettendo di creare modelli più complessi e ridurre l'errore sistematico, ma può aumentare la varianza se si esagera.

In sintesi:

Metodo	Minimizza il bias	Minimizza la varianza
Bagging	Moderatamente	Sì
Boosting	Sì	Può aumentare