Hoe werkt het willekeurige bos en hoe worden de bomen in het ensemble gebouwd?

Het willekeurige bos is een ensemble-methode voor machine learning die meerdere beslissingsbomen bouwt en hun voorspellingen combineert om de nauwkeurigheid en robuustheid van het model te verbeteren.

Hoe worden bomen gebouwd:

• Voor elke boom wordt een willekeurige submonster van objecten uit de trainingsset geselecteerd (bootstrap).
• Bij het bouwen van elke knoop wordt een willekeurige subset van kenmerken gekozen, waarvan de beste wordt geselecteerd voor splitsing.
• De boom wordt gebouwd tot een bepaalde diepte of totdat een stopcriterium wordt bereikt (bijvoorbeeld minimaal aantal objecten in een blad).

Hoe werkt het ensemble:

• Voor classificatie wordt de uiteindelijke beslissing genomen door de meerderheid van de stemmen van de bomen.
• Voor regressie wordt het gemiddelde van de voorspellingen van alle bomen genomen.

Deze aanpak vermindert overfitting, omdat de bomen op verschillende submonsters worden getraind en verschillende kenmerken gebruiken, wat de generalisatiecapaciteit van het model verhoogt.