Parlez-moi de RandomForest : comment il fonctionne, en quoi il diffère du bagging d'arbres classique.

RandomForest est une méthode d’apprentissage automatique en ensemble qui construit plusieurs arbres de décision et combine leurs prédictions pour améliorer la qualité et la stabilité du modèle.

Principales caractéristiques de RandomForest :

• Chaque arbre est entraîné sur un sous-ensemble aléatoire des données originales avec remise (bagging).
• Lors de la construction de chaque arbre, à chaque nœud, un sous-ensemble aléatoire de caractéristiques est sélectionné, parmi lequel la meilleure est choisie pour la division.

Différences avec le bagging classique d’arbres :

• Dans le bagging classique, les arbres sont construits sur des sous-ensembles aléatoires de données, mais la sélection de la caractéristique pour la division utilise l’ensemble complet de caractéristiques.
• Dans RandomForest, une randomisation supplémentaire est introduite lors de la sélection des caractéristiques à chaque nœud, ce qui réduit la corrélation entre les arbres et augmente la capacité de généralisation.

Exemple en Python avec sklearn :

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100, max_features='sqrt')
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Ici, le paramètre max_features='sqrt' définit un sous-ensemble aléatoire de caractéristiques pour chaque division.