Hoe werkt een willekeurige bos en hoe wordt deze getraind bij een classificatieprobleem?

Willekeurige Bos (Random Forest) is een ensemble-methode voor machine learning die meerdere beslissingsbomen bouwt en hun resultaten combineert om de nauwkeurigheid en stabiliteit van het model te verbeteren.

Structuur:

• Bestaat uit een groot aantal beslissingsbomen.
• Elke boom wordt getraind op een willekeurige subset van de oorspronkelijke gegevens (bootstrap-methode).
• Bij het bouwen van een boom wordt bij elke knoop een willekeurige subset van kenmerken geselecteerd om de beste splitsing te vinden.

Training bij classificatietaken:

1. Er wordt willekeurig een subset van gegevens met terugplaatsing geselecteerd (bootstrap-steekproef).
2. Voor elke boom wordt op deze subset een beslissingsboom gebouwd.
3. Bij het kiezen van de splitsing in de knopen van de boom wordt slechts een willekeurige subset van kenmerken overwogen, wat de correlatie tussen de bomen vermindert.
4. Na het bouwen van alle bomen wordt voor het classificeren van een nieuw object een meerderheidsstem uitgebracht: de klasse die door de meeste bomen wordt gekozen, wordt de uiteindelijke voorspelling.

Deze aanpak vermindert overfitting en verhoogt de generalisatiecapaciteit van het model.