Was fungiert als Waage beim Gradient Boosting?

Beim Gradient Boosting werden die Gewichte durch die Gradienten dargestellt, die die Ableitungen der Verlustfunktion in Bezug auf die Vorhersagen des Modells im aktuellen Schritt sind. Diese Gradienten zeigen, wie stark die Vorhersagen angepasst werden müssen, um den Fehler zu verringern.

Bei jedem Schritt wird ein neues Modell (meist ein Baum) gebaut, das lernt, die negativen Gradienten (Fehler) des vorherigen Modells vorherzusagen. Daher sind die Gewichte die Fehler, die korrigiert werden müssen, und sie steuern das Training des nächsten Modells, um das Endergebnis zu verbessern.

Beispiel: Wenn die Verlustfunktion MSE ist, sind die Gradienten die Differenz zwischen den vorhergesagten und den tatsächlichen Werten, und das neue Modell wird versuchen, diese Differenz vorherzusagen.