Waarom kun je niet alleen leren van de outputs in gradient boosting?

Bij gradient boosting wordt de training uitgevoerd op de residuen (gradients van de fout), en niet op de outputs van de vorige modellen. Als je probeert de volgende basisalgoritme alleen op de outputs van de vorige te trainen, zal het model de fout niet correct minimaliseren, omdat het de richting en de grootte van de fout niet meeneemt, alleen de uiteindelijke voorspelling.

Training op de gradients stelt je in staat om de fouten van de vorige modellen sequentieel te corrigeren, wat convergentie en kwaliteitsverbetering garandeert. Als je alleen op de outputs traint, kan het model overfitten of niet het optimum bereiken, omdat het niet rekening houdt met hoe sterk en in welke richting de voorspellingen moeten worden aangepast.

Voorbeeld: bij klassieke gradient boosting wordt de volgende regressie-model getraind op het verschil tussen de echte waarden en de huidige voorspellingen (residuen), niet op de voorspellingen zelf.