Wat is gradient boosting? Waar verschijnt de gradient?

Gradient boosting is een ensemble-leermethode die een model sequentieel bouwt door nieuwe zwakke modellen (meestal beslissingsbomen) toe te voegen om de fouten van eerdere modellen te corrigeren.

De gradient verschijnt wanneer elk nieuw model wordt getraind op de gradient van de verliesfunctie met betrekking tot de voorspellingen van het huidige ensemble-model. Simpel gezegd minimaliseren we de fout door gebruik te maken van gradient descent in de functieruimte.

Bij elke stap wordt de foutgradient (richting en grootte waarin de voorspellingen moeten worden verbeterd) berekend, en het nieuwe model wordt getraind om deze gradient te voorspellen, waardoor de uiteindelijke voorspelling wordt gecorrigeerd.

Dit stelt ons in staat om de fout effectief te verminderen en de kwaliteit van het model te verbeteren door sequentieel te leren van de fouten van eerdere modellen.