Hoe worden kenmerken geselecteerd in Random Forest?

In Random Forest worden kenmerken willekeurig gekozen bij elke knoop van de boom bij het zoeken naar de beste splitsing. Specifiek wordt voor elke knoop een subset van kenmerken willekeurig gekozen (meestal is de grootte van de subset de vierkantswortel van het totale aantal kenmerken voor classificatietaken), en uit deze wordt het kenmerk gekozen dat de beste scheiding van de gegevens biedt volgens een criterium (bijvoorbeeld het verminderen van entropie of de Gini-index). Deze willekeurige selectie van kenmerken helpt om de correlatie tussen de bomen te verminderen en de generalisatiecapaciteit van het model te verbeteren.