Какво ще се случи с качеството на всеки модел, ако изтрием първото построено дърво в градиентен буустинг и случайна гора от 1000 дървета?

В случай на случаен лес, всяко дърво се изгражда независимо, а крайната прогноза е средно аритметично (регресия) или гласуване (класификация) на всички дървета. Ако премахнем първото дърво, качеството на модела леко ще се влоши, но незначително, тъй като останалите 999 дървета продължават да работят и компенсират загубата.

В случай на градиентно буустинг дърветата се изграждат последователно, всяко се обучава върху грешките на предишните. Първото дърво задава началното приближение. Ако премахнем първото дърво, цялата последователност ще бъде нарушена, и качеството на модела ще се влоши значително, тъй като следващите дървета няма да могат правилно да компенсират грешката без началното приближение.

Резултат:

• Случаен лес: леко намаляване на качеството, моделът остава работоспособен.
• Градиентен буустинг: значително влошаване на качеството, моделът губи смисъл без първото дърво.