Kaj se bo zgodilo s kakovostjo vsakega modela, če odstranimo prvo zgrajeno drevo v gradientnem boostingu in naključnem gozdu s 1000 drevesi?

V prípade náhodného lesa sa každý strom stavia nezávisle a konečné predpovede sú priemer (regresia) alebo hlasovanie (klasifikácia) všetkých stromov. Ak odstránime prvý strom, kvalita modelu sa mierne zníži, ale nie významne, pretože ostatných 999 stromov pokračuje v práci a kompenzuje stratu.

V prípade gradientového boosting sa stromy stavajú sekvenčne, každý sa učí na chybách predchádzajúcich. Prvý strom stanoví počiatočné približovanie. Ak odstránime prvý strom, celá sekvencia sa naruší a kvalita modelu sa výrazne zhorší, pretože nasledujúce stromy nemôžu správne kompenzovať chybu bez počiatočného približovania.

Výsledok:

• Náhodný les: mierne zníženie kvality, model zostáva funkčný.
• Gradientové boosting: významné zhoršenie kvality, model stráca zmysel bez prvého stromu.