Welke modellen minimaliseren bias en welke variance, door boosting en bagging te vergelijken?

Bagging en boosting zijn ensemble-methoden die op verschillende manieren invloed hebben op bias (systematische fout) en variance (spreiding) van het model.

• Bagging (bijvoorbeeld, Random Forest) vermindert vooral de variance. Het bouwt meerdere modellen op verschillende steekproeven van de data met vervanging en neemt het gemiddelde van hun voorspellingen, wat overfitting en spreiding vermindert, maar niet veel invloed heeft op bias.

• Boosting (bijvoorbeeld, AdaBoost, Gradient Boosting) is gericht op het verminderen van bias. Het traint modellen sequentieel, waarbij elk model de fouten van de vorige corrigeert, waardoor complexere modellen kunnen worden gemaakt en systematische fouten worden verminderd, maar het kan de variance verhogen als het te ver wordt doorgevoerd.

Samengevat:

Methode	Minimaliseert bias	Minimaliseert variance
Bagging	Matig	Ja
Boosting	Ja	Kan toenemen