Was ist Gradient Boosting? Wo erscheint der Gradient?

Gradient Boosting ist eine Ensemble-Lernmethode, die ein Modell sequenziell aufbaut, indem sie neue schwache Modelle (meist Entscheidungsbäume) hinzufügt, um die Fehler der vorherigen zu korrigieren.

Der Gradient erscheint, wenn jedes neue Modell auf dem Gradienten der Verlustfunktion in Bezug auf die Vorhersagen des aktuellen Ensemble-Modells trainiert wird. Einfach ausgedrückt minimieren wir den Fehler, indem wir den Gradientenabstieg im Funktionsraum verwenden.

Bei jedem Schritt wird der Fehlergradient (Richtung und Größe, in der die Vorhersagen verbessert werden müssen) berechnet, und das neue Modell wird trainiert, um diesen Gradient vorherzusagen, wodurch die endgültige Vorhersage angepasst wird.

Dies ermöglicht es, den Fehler effektiv zu verringern und die Modellqualität durch sequenzielles Lernen auf den Fehlern der vorherigen Modelle zu verbessern.