Selezionano un sottoinsieme di caratteristiche nei singoli nodi dell'albero o per l'intero albero?

Negli alberi decisionali, la selezione di un sottoinsieme di caratteristiche avviene di solito in ogni singolo nodo dell’albero, e non per l’intero albero. Durante la costruzione dell’albero, in ogni nodo, l’algoritmo sceglie la migliore caratteristica (o sottoinsieme di caratteristiche) per dividere i dati, basandosi su criteri di qualità della divisione (ad esempio, entropia, indice di Gini).

Questo approccio permette all’albero di adattarsi alle caratteristiche locali dei dati a diversi livelli e migliora la qualità della classificazione o regressione. Se si scegliesse un sottoinsieme di caratteristiche per tutto l’albero contemporaneamente, ciò limiterebbe la flessibilità del modello.

In alcuni algoritmi di ensemble (ad esempio, foreste casuali), in ogni nodo viene anche selezionato casualmente un sottoinsieme di caratteristiche per cercare la migliore divisione, il che aiuta a ridurre la correlazione tra gli alberi e ad aumentare la capacità di generalizzazione.