Hoe werkt boosting en hoe wordt een boosting-model opgebouwd?

Boosting is een ensemble-methode die een krachtig model bouwt door sequentieel een reeks zwakke modellen (meestal beslissingsbomen) te trainen. Elk nieuw model probeert de fouten van de vorige te corrigeren, met de focus op verkeerd geclassificeerde objecten.

Hoe werkt boosting:

1. Er wordt een basismodel geïnitieerd dat de eerste voorspellingen doet.
2. De fouten (residuen) van dit model worden berekend.
3. Het volgende model wordt getraind op deze fouten, met als doel ze te verminderen.
4. Het proces wordt meerdere keren herhaald, en de uiteindelijke voorspelling wordt verkregen als een gewogen som van alle modellen.

Voorbeeld van vereenvoudigde pseudocode voor boosting:

# pseudocode
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
final_prediction = model_0.predict(data) + model_1.predict(data) + ...

Op deze manier verbetert boosting stapsgewijs de modelkwaliteit door de fout bij elke stap te verminderen.