Wat is bagging en waarom vermindert het de variantie van het model?

Bagging (Bootstrap Aggregating) is een methode voor ensemble van modellen waarbij meerdere trainingsmonsters worden gemaakt met behulp van bootstrap (willekeurige steekproef met teruglegging uit de oorspronkelijke gegevens). Voor elke steekproef wordt een apart model getraind, en de uiteindelijke voorspelling wordt verkregen door het gemiddelde (voor regressie) of stemmen (voor classificatie) van de resultaten van alle modellen.

Waarom bagging de variantie vermindert:

• Elk model wordt getraind op iets verschillende gegevens, waardoor de fouten van de modellen niet volledig gecorreleerd zijn.
• Het middelen van de resultaten vermindert de invloed van willekeurige fouten van individuele modellen.
• Als resultaat wordt het ensemble robuuster tegen overfitting en ruis in de gegevens.

Op deze manier vermindert bagging de spreiding (variantie) van het model, waardoor de stabiliteit en generalisatievermogen toenemen.