Ce se întâmplă cu calitatea fiecărui model dacă eliminăm primul copac construit într-un gradient boosting și o pădure aleatorie de 1000 de copaci?

În cazul pădurii aleatoare, fiecare copac este construit independent, iar predicția finală este o medie (regresie) sau o votare (clasificare) a tuturor copacilor. Dacă se elimină primul copac, calitatea modelului scade ușor, dar nu semnificativ, deoarece celelalte 999 de copaci continuă să funcționeze și să compenseze pierderea.

În cazul boosting-ului pe gradient, copacii sunt construiți secvențial, fiecare fiind antrenat pe erorile celor anterioare. Primul copac stabilește o aproximație inițială. Dacă se elimină primul copac, întreaga secvență va fi perturbată, iar calitatea modelului se va deteriora semnificativ, deoarece copacii următori nu vor putea compensa corect eroarea fără aproximația inițială.

Rezultat:

• Pădure aleatoare: scădere mică a calității, modelul rămâne funcțional.
• Boosting pe gradient: deteriorare semnificativă a calității, modelul își pierde sensul fără primul copac.