Co se stane s kvalitou každého modelu, pokud odstraníme první postavený strom v gradient boosting a náhodném lese s 1000 stromy?

V případě náhodného lesa je každý strom postaven nezávisle a konečné předpovědi jsou průměrem (regrese) nebo hlasováním (klasifikace) všech stromů. Pokud odstraníme první strom, kvalita modelu se mírně sníží, ale nikoliv významně, protože ostatních 999 stromů pokračuje v práci a kompenzuje ztrátu.

V případě gradientového zesílení jsou stromy stavěny sekvenčně, každý se učí na chybách předchozích. První strom stanoví počáteční přiblížení. Pokud odstraníme první strom, celá sekvence se naruší a kvalita modelu se výrazně zhorší, protože následující stromy nemohou správně kompenzovat chybu bez počátečního přiblížení.

Výsledek:

• Náhodný les: mírné snížení kvality, model zůstává funkční.
• Gradientové zesílení: významné zhoršení kvality, model ztrácí smysl bez prvního stromu.