Kiválasztanak egy jellemzőkészletet az egyes csomópontokban vagy az egész fára vonatkozóan?

A döntési fákban a jellemzők alhalmazának kiválasztása általában minden egyes csomópontban történik, nem pedig az egész fa esetében. A fa építése során minden csomópontban az algoritmus kiválasztja a legjobb jellemzőt (vagy jellemzők alhalmazát) az adatok felosztására, a felosztás minőségi kritériumai alapján (például entrópia, Gini-index).

Ez a megközelítés lehetővé teszi a fa számára, hogy alkalmazkodjon az adatok helyi jellemzőihez különböző szinteken, és javítja a osztályozás vagy regresszió minőségét. Ha az egész fára egyszerre választanánk jellemzők alhalmazát, az korlátozná a modell rugalmasságát.

Néhány ensemble algoritmusban (például, véletlen erdőkben) minden csomópontban véletlenszerűen kiválasztanak egy jellemzők alhalmazát a legjobb felosztás megtalálásához, ami segít csökkenteni a fák közötti korrelációt és növelni az általánosító képességet.