Qual deve ser a profundidade das árvores em Random Forest e boosting?

Na Random Forest, a profundidade das árvores é geralmente escolhida suficientemente grande para que as árvores possam separar bem os dados e capturar dependências complexas. Muitas vezes, as árvores são construídas até à profundidade máxima (até que restem poucos objetos na folha), o que ajuda a reduzir o viés, e através da média de várias árvores, a variância é reduzida.

No boosting (por exemplo, Gradient Boosting), pelo contrário, as árvores costumam ser pequenas, com uma profundidade de 3-5 níveis. Isto deve-se ao facto de o boosting construir árvores sequencialmente, corrigindo os erros das anteriores. Árvores pequenas ajudam a evitar o sobreajuste e tornam o modelo mais estável.

Assim:

• Random Forest: árvores profundas (frequentemente sem limite de profundidade).
• Boosting: árvores pouco profundas (3-5 níveis).

A escolha da profundidade exata depende da tarefa, do volume de dados e dos requisitos de capacidade de generalização do modelo.