Επιλέγουν ένα υποσύνολο χαρακτηριστικών στους μεμονωμένους κόμβους του δέντρου ή για ολόκληρο το δέντρο;

Στα δέντρα αποφάσεων, η επιλογή ενός υποσυνόλου χαρακτηριστικών γίνεται συνήθως σε κάθε κόμβο του δέντρου, και όχι για ολόκληρο το δέντρο. Κατά την κατασκευή του δέντρου, σε κάθε κόμβο, ο αλγόριθμος επιλέγει το καλύτερο χαρακτηριστικό (ή υποσύνολο χαρακτηριστικών) για το διαχωρισμό των δεδομένων, βασιζόμενος σε κριτήρια ποιότητας διαχωρισμού (π.χ., εντροπία, δείκτης Gini).

Αυτή η προσέγγιση επιτρέπει στο δέντρο να προσαρμόζεται στις τοπικές ιδιότητες των δεδομένων σε διαφορετικά επίπεδα και βελτιώνει την ποιότητα της ταξινόμησης ή της παλινδρόμησης. Αν επιλεγόταν ένα υποσύνολο χαρακτηριστικών για ολόκληρο το δέντρο ταυτόχρονα, αυτό θα περιορίζει την ευελιξία του μοντέλου.

Σε ορισμένους αλγόριθμους συνόλου (π.χ., τυχαία δάση), σε κάθε κόμβο επιλέγεται επίσης τυχαία ένα υποσύνολο χαρακτηριστικών για την εύρεση της καλύτερης διαίρεσης, κάτι που βοηθά στη μείωση της συσχέτισης μεταξύ των δέντρων και στην αύξηση της γενικευτικής ικανότητας.