Was sind Bias und Varianz, und was wird im Random Forest reduziert?

Beim maschinellen Lernen:

• Bias (Verzerrung) — ist ein Fehler, der durch ein zu einfaches Modell entsteht, das die wahre Abhängigkeit nicht gut approximieren kann. Ein hohes Bias führt zu Underfitting.
• Varianz — ist die Empfindlichkeit des Modells gegenüber Änderungen in den Trainingsdaten. Eine hohe Varianz bedeutet, dass das Modell zu stark an das Rauschen in den Daten angepasst ist, was zu Overfitting führt.

Ein Random Forest ist ein Ensemble von Entscheidungsbäumen, die auf zufälligen Teilmengen von Daten und Merkmalen basieren. Es reduziert die Varianz im Vergleich zu einem einzelnen Baum, da die Durchschnittsbildung der Vorhersagen den Einfluss zufälliger Schwankungen in den Daten verringert, während das Bias ungefähr auf dem Niveau einzelner Bäume bleibt oder leicht zunimmt.

Beispiel:

from sklearn.ensemble import RandomForestClassifier

# Der Random Forest verringert die Varianz durch Durchschnittsbildung
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)