Zašto ne može da se uči jednostavno na izlazima u boostingu gradijentom?

U gradijentnom boostingu, obuka se vrši na ostatcima (gradijentima greške), a ne na samim izlazima prethodnih modela. Ako pokušate da obučite sledeći osnovni algoritam samo na izlazima prethodnih, model neće pravilno minimizirati grešku, jer ne uzima u obzir pravac i veličinu greške, već samo konačnu prognozu.

Obuka na gradientima omogućava sukcesivno ispravljanje grešaka prethodnih modela, što obezbeđuje konvergenciju i poboljšanje kvaliteta. Ako se trenira samo na izlazima, model može pretrenirati ili ne dostići optimum, jer ne uzima u obzir koliko i u kom pravcu treba korigovati predviđanja.

Primer: u klasičnom gradient boostingu, sledeći regresor se trenira na razlici između stvarnih vrednosti i trenutnih predviđanja (ostataka), a ne na samim predviđanjima.