Kiezen ze een subset van kenmerken in de individuele knooppunten van de boom of voor de hele boom?

In beslissingsbomen wordt de selectie van een subset van kenmerken meestal gedaan in elke afzonderlijke knoop (node) van de boom, en niet voor de hele boom. Bij het bouwen van de boom kiest het algoritme in elke knoop de beste eigenschap (of subset van eigenschappen) om de gegevens te splitsen, gebaseerd op criteria voor splitkwaliteit (bijvoorbeeld entropie, Gini-index).

Deze aanpak stelt de boom in staat zich aan te passen aan lokale datakenmerken op verschillende niveaus en verbetert de kwaliteit van classificatie of regressie. Als een subset van kenmerken voor de hele boom tegelijk werd gekozen, zou dit de flexibiliteit van het model beperken.

In sommige ensemble-algoritmen (bijvoorbeeld, random forests) wordt in elke knoop ook een willekeurig subset van kenmerken geselecteerd om de beste splitsing te vinden, wat helpt om de correlatie tussen de bomen te verminderen en de generalisatiecapaciteit te vergroten.