Parlami di RandomForest: come funziona, in cosa si differenzia dal bagging tradizionale degli alberi.

RandomForest è un metodo di apprendimento automatico ensemble che costruisce più alberi decisionali e combina le loro previsioni per migliorare la qualità e la stabilità del modello.

Caratteristiche principali di RandomForest:

• Ogni albero viene addestrato su un sottoinsieme casuale dei dati originali con reinserimento (bagging).
• Durante la costruzione di ogni albero, ad ogni nodo viene selezionato un sottoinsieme casuale di caratteristiche, tra cui viene scelta la migliore per la divisione.

Differenze rispetto al bagging classico di alberi:

• Nel bagging classico, gli alberi sono costruiti su sottoinsiemi casuali di dati, ma nella selezione della caratteristica per la divisione si utilizza l'intero insieme di caratteristiche.
• In RandomForest, viene inoltre introdotta casualità nella selezione delle caratteristiche ad ogni nodo, riducendo la correlazione tra gli alberi e aumentando la capacità di generalizzazione.

Esempio in Python usando sklearn:

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100, max_features='sqrt')
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Qui, il parametro max_features='sqrt' definisce un sottoinsieme casuale di caratteristiche per ogni divisione.