Czy wybierają podzbiór cech w poszczególnych wierzchołkach drzewa, czy dla całego drzewa?

W drzewach decyzyjnych wybór podzbioru cech zwykle odbywa się na każdym pojedynczym wierzchołku (węźle) drzewa, a nie dla całego drzewa. Podczas budowy drzewa, na każdym węźle, algorytm wybiera najlepszą cechę (lub podzbiór cech) do podziału danych, opierając się na kryteriach jakości podziału (np. entropia, indeks Gini).

Takie podejście pozwala drzewu dostosować się do lokalnych cech danych na różnych poziomach i poprawia jakość klasyfikacji lub regresji. Gdyby podzbiór cech był wybierany dla całego drzewa od razu, ograniczałoby to elastyczność modelu.

W niektórych algorytmach zespołowych (np. losowe lasy), na każdym węźle dodatkowo losowo wybierany jest podzbiór cech do znalezienia najlepszego podziału, co pomaga zmniejszyć korelację między drzewami i zwiększyć zdolność generalizacji.