Jaka będzie jakość każdego modelu, jeśli usuniemy pierwsze zbudowane drzewo w gradient boosting i losowym lesie z 1000 drzewami?

W przypadku losowego lasu każdy drzewo jest budowane niezależnie, a końcowa predykcja to średnia (regresja) lub głosowanie (klasyfikacja) wszystkich drzew. Jeśli usuniemy pierwsze drzewo, jakość modelu nieznacznie się pogorszy, ale nieznacznie, ponieważ pozostałe 999 drzew nadal działają i kompensują stratę.

W przypadku gradientowego boostingu, drzewa są budowane kolejno, każde ucząc się na błędach poprzednich. Pierwsze drzewo ustawia początkowe przybliżenie. Jeśli usuniemy pierwsze drzewo, cała sekwencja zostanie zakłócona, a jakość modelu znacznie się pogorszy, ponieważ kolejne drzewa nie będą mogły poprawnie kompensować błędu bez początkowego przybliżenia.

Wynik:

• Losowy las: niewielkie obniżenie jakości, model pozostaje funkcjonalny.
• Gradientowy boosting: znaczne pogorszenie jakości, model traci sens bez pierwszego drzewa.