Czym jest gradient boosting? Gdzie pojawia się gradient?

Gradient boosting to metoda uczenia zespołowego, która buduje model kolejno, dodając nowe słabe modele (zwykle drzewa decyzyjne), aby poprawić błędy poprzednich.

Gradient pojawia się, gdy każdy nowy model jest trenowany na gradiencie funkcji straty względem predykcji aktualnego modelu zespołowego. Mówiąc prościej, minimalizujemy błąd, używając spadku gradientu w przestrzeni funkcji.

Na każdym kroku oblicza się gradient błędu (kierunek i wielkość, w której należy poprawić predykcje), a nowy model jest trenowany, aby przewidzieć ten gradient, tym samym korygując końcową predykcję.

To pozwala skutecznie zmniejszać błąd i poprawiać jakość modelu poprzez sekwencyjne uczenie się na błędach poprzednich modeli.