Choisissent-ils un sous-ensemble de caractéristiques dans les nœuds individuels de l'arbre ou pour l'ensemble de l'arbre?

Dans les arbres de décision, la sélection d’un sous-ensemble de caractéristiques se fait généralement à chaque nœud de l’arbre, et non pour l’ensemble de l’arbre. Lors de la construction de l’arbre, à chaque nœud, l’algorithme choisit la meilleure caractéristique (ou sous-ensemble de caractéristiques) pour diviser les données, en se basant sur des critères de qualité de division (par exemple, entropie, indice de Gini).

Cette approche permet à l’arbre de s’adapter aux caractéristiques locales des données à différents niveaux et améliore la qualité de la classification ou de la régression. Si un sous-ensemble de caractéristiques était choisi pour tout l’arbre en une seule fois, cela limiterait la flexibilité du modèle.

Dans certains algorithmes d’assemblage (par exemple, forêts aléatoires), un sous-ensemble aléatoire de caractéristiques est également sélectionné à chaque nœud pour rechercher la meilleure division, ce qui aide à réduire la corrélation entre les arbres et à augmenter la capacité de généralisation.