Šta je gradijentni boost? Gde se pojavljuje gradijent?

Gradient boosting je metoda ansambl učenja koja postepeno gradi model dodavanjem novih slabih modela (obično stabala odlučivanja) kako bi ispravila greške prethodnih.

Gradient se pojavljuje kada se svaki novi model trenira na gradijentu funkcije gubitka u odnosu na predviđanja trenutnog ansambl modela. Jednostavno rečeno, minimiziramo grešku koristeći spust gradijenta u prostoru funkcija.

Na svakom koraku, računa se gradijent greške (pravac i veličina u kojima treba poboljšati predviđanja), a novi model se trenira da predvidi taj gradijent, čime se koreguje konačno predviđanje.

Ovo omogućava efikasno smanjenje greške i poboljšanje kvaliteta modela putem sekvencijalnog učenja na greškama prethodnih modela.