Por que o bagging funciona com árvores, como na floresta aleatória?

Bagging (Bootstrap Aggregating) funciona bem com árvores de decisão porque:

1. Alta variabilidade dos modelos: Árvores de decisão individuais tendem a sobreajustar e têm alta dispersão. O bagging reduz essa dispersão ao fazer a média das previsões de várias árvores treinadas em diferentes subconjuntos de dados.

2. Independência dos modelos: Como cada árvore é treinada em uma amostra aleatória com reposição (bootstrap), os modelos são suficientemente diferentes, o que melhora o efeito de média.

3. Não é necessário modelos base fortes: O bagging funciona melhor com modelos instáveis (como árvores), onde pequenas mudanças nos dados afetam bastante a estrutura do modelo.

4. Simplicidade e eficiência: Árvores são fáceis de treinar e combinar, tornando o bagging prático e eficiente.

No caso de floresta aleatória, também é aplicada uma seleção aleatória de características ao dividir os nós, o que aumenta ainda mais a diversidade das árvores e melhora a capacidade de generalização do modelo.