Warum kann man nicht einfach nur an den Ausgaben des Gradient Boosting lernen?

Beim Gradient Boosting erfolgt das Training auf den Residuen (Gradienten des Fehlers), nicht auf den Ausgaben der vorherigen Modelle. Wenn man versucht, den nächsten Basisalgorithmus nur auf den Ausgaben der vorherigen zu trainieren, wird das Modell den Fehler nicht korrekt minimieren, da es die Richtung und die Größe des Fehlers nicht berücksichtigt, sondern nur die endgültige Prognose.

Das Training anhand der Gradienten ermöglicht es, die Fehler der vorherigen Modelle sequenziell zu korrigieren, was Konvergenz und Qualitätsverbesserung gewährleistet. Wenn nur auf den Ausgaben trainiert wird, kann das Modell überanpassen oder kein Optimum erreichen, da es nicht berücksichtigt, wie stark und in welche Richtung die Vorhersagen angepasst werden müssen.

Beispiel: Beim klassischen Gradient Boosting wird der nächste Regressor auf die Differenz zwischen den wahren Werten und den aktuellen Vorhersagen (Residuen) trainiert, nicht auf die Vorhersagen selbst.