Cosa sono bias e varianza, e cosa si riduce in una foresta casuale?

Nel machine learning:

• Bias (sbilanciamento) — è un errore causato da un modello troppo semplice, che non riesce ad approssimare bene la dipendenza reale. Un bias elevato porta a sotto-allenamento.
• Varianza — è la sensibilità del modello ai cambiamenti nei dati di addestramento. Una varianza alta significa che il modello si adatta troppo al rumore nei dati, portando a un overfitting.

Una foresta casuale è un insieme di alberi decisionali costruiti su sottoinsiemi casuali di dati e caratteristiche. Riduce la varianza rispetto a un singolo albero, poiché la media delle predizioni diminuisce l'influenza delle fluttuazioni casuali nei dati, mentre il bias rimane circa allo stesso livello degli alberi singoli o aumenta leggermente.

Esempio:

from sklearn.ensemble import RandomForestClassifier

# La foresta casuale riduce la varianza tramite la media
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)