Co pełni rolę wagi w gradient boosting?

W gradient boosting, wagi są reprezentowane przez gradienty, które są pochodnymi funkcji straty względem prognoz modelu na bieżącym kroku. Te gradienty pokazują, jak bardzo należy skorygować prognozy, aby zmniejszyć błąd.

Na każdym kroku budowany jest nowy model (zwykle drzewo), który uczy się przewidywać negatywne gradienty (błędy) poprzedniego modelu. W ten sposób, wagi to błędy, które trzeba poprawić, a one kierują nauką kolejnego modelu w celu poprawy końcowego wyniku.

Przykład: jeśli funkcja straty to MSE, gradienty będą różnicą między przewidywanymi a rzeczywistymi wartościami, a nowy model będzie próbował przewidzieć tę różnicę.