Qual será a qualidade de cada modelo se removermos a primeira árvore construída em um gradient boosting e uma floresta aleatória de 1000 árvores?

No caso de floresta aleatória, cada árvore é construída de forma independente, e a previsão final é uma média (regressão) ou votação (classificação) de todas as árvores. Se a primeira árvore for removida, a qualidade do modelo diminui um pouco, mas não significativamente, pois as outras 999 árvores continuam a funcionar e compensam a perda.

No caso de boosting de gradiente, as árvores são construídas sequencialmente, cada uma treinando nos erros das anteriores. A primeira árvore fornece uma aproximação inicial. Se a primeira árvore for removida, toda a sequência será interrompida, e a qualidade do modelo deteriorará bastante, pois as árvores seguintes não poderão compensar corretamente o erro sem a aproximação inicial.

Resultado:

• Floresta aleatória: pequena redução na qualidade, o modelo permanece funcional.
• Boosting de gradiente: deterioração significativa na qualidade, o modelo perde sentido sem a primeira árvore.