Šta će se desiti sa kvalitetom svakog modela ako uklonimo prvo izgrađeno drvo u gradient boosting-u i slučajnoj šumi od 1000 stabala?

U slučaju slučajne šume, svako drvo se gradi nezavisno, a konačna predviđanja su prosek (regresija) ili glasanje (klasifikacija) svih stabala. Ako uklonimo prvo drvo, kvalitet modela će se blago smanjiti, ali neznatno, jer ostalih 999 stabala nastavlja da radi i nadoknađuje gubitak.

U slučaju gradijentnog boostinga, stabla se grade sekvencijalno, svako uči na greškama prethodnih. Prvo drvo postavlja početno približavanje. Ako uklonimo prvo drvo, cela sekvenca će biti prekinuta, i kvalitet modela će se znatno pogoršati, jer sledeća stabla neće moći pravilno da nadoknade grešku bez početnog približavanja.

Rezultat:

• Slučajna šuma: blago smanjenje kvaliteta, model ostaje funkcionalan.
• Gradijentni boosting: značajno pogoršanje kvaliteta, model gubi smisao bez prvog stabla.