Was ist Bagging und warum reduziert es die Varianz des Modells?

Bagging (Bootstrap Aggregating) ist eine Methode des Modell-Ensembles, bei der mehrere Trainingsstichproben mittels Bootstrap (zufällige Stichprobe mit Zurücklegen aus den Originaldaten) erstellt werden. Für jede Stichprobe wird ein separates Modell trainiert, und die endgültige Vorhersage wird durch Durchschnittsbildung (bei Regressionen) oder Mehrheitsvotum (bei Klassifikationen) der Ergebnisse aller Modelle erzielt.

Warum Bagging die Varianz reduziert:

• Jedes Modell wird auf leicht unterschiedlichen Daten trainiert, daher sind die Fehler der Modelle nicht vollständig korreliert.
• Das Durchschnittsbilden der Ergebnisse verringert den Einfluss zufälliger Fehler einzelner Modelle.
• Insgesamt wird das Ensemble robuster gegenüber Überanpassung und Rauschen in den Daten.

Auf diese Weise reduziert Bagging die Streuung (Varianz) des Modells, erhöht seine Stabilität und Generalisierungsfähigkeit.