Boosting-də ilk və ya son ağacı silsək nə baş verər?

Boostingdə, məsələn, gradient boostingdə, modellər ardıcıl şəkildə qurulur, hər biri əvvəlki səhvləri düzəltməyə çalışır.

Əgər ilk ağacı silsəniz:

• Təlimə başlanan əsas model itir.
• Sonrakı ağaclar ilk səhvləri düzəldir, ona görə də ilk ağacı silmək keyfiyyəti əhəmiyyətli dərəcədə pisləşdirəcək, çünki başlanğıc təxmini yoxdur.

Əgər son ağacı silsəniz:

• Ən son səhv düzəlişi silinir.
• Bu, dəqiqliyi bir az azalda bilər, lakin effekti adətən ilk ağacı silməkdən daha az kritik olur.

Beləliklə, ilk ağac proqnozların əsasını qoyur, sonlar isə modeli dəqiqləşdirir. İlk ağacın silinməsi bütün model strukturunu pozar, sonun isə yalnız keyfiyyəti azaldar.