Welche Modelle minimieren Bias und welche Varianz, im Vergleich von Boosting und Bagging?

Bagging und Boosting sind Ensemble-Methoden, die sich unterschiedlich auf Bias (Verzerrung) und Varianz (Streuung) des Modells auswirken.

• Bagging (z.B. Random Forest) reduziert hauptsächlich die Varianz. Es erstellt mehrere Modelle auf verschiedenen Stichproben der Daten mit Zurücklegen und mittelt deren Vorhersagen, was Überanpassung und Streuung reduziert, aber den Bias kaum beeinflusst.

• Boosting (z.B. AdaBoost, Gradient Boosting) zielt darauf ab, den Bias zu verringern. Es trainiert Modelle sequenziell, wobei jedes die Fehler der vorherigen korrigiert, was die Erstellung komplexerer Modelle ermöglicht und den systematischen Fehler reduziert, aber die Varianz erhöhen kann, wenn es übertrieben wird.

Kurz gesagt:

Methode	Minimiert Bias	Minimiert Varianz
Bagging	Mäßig	Ja
Boosting	Ja	Kann erhöhen