Wat zijn bias en variantie, en wat neemt af in een willekeurig bos?

In machine learning:

• Bias (vertekening) — is een fout die ontstaat door een te eenvoudig model dat de werkelijke afhankelijkheid niet goed kan benaderen. Een hoge bias leidt tot onderfitting.
• Variantie — is de gevoeligheid van het model voor veranderingen in de trainingsgegevens. Een hoge variatie betekent dat het model te veel op het ruis in de data afstemt, wat leidt tot overfitting.

Een Random Forest is een verzameling beslissingsbomen gebouwd op willekeurige subsets van data en kenmerken. Het vermindert de variantie in vergelijking met een enkele boom, omdat het gemiddelde van de voorspellingen de invloed van willekeurige schommelingen in de data vermindert, terwijl de bias ongeveer op het niveau van individuele bomen blijft of licht toeneemt.

Voorbeeld:

from sklearn.ensemble import RandomForestClassifier

# De Random Forest vermindert de variatie door het gemiddelde
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)