Qual é a profundidade das árvores usada em Random Forest e boosting?

Em Random Forest e boosting, a profundidade das árvores é um hiperparâmetro importante que afeta a qualidade do modelo e o sobreajuste.

• Random Forest: Normalmente, árvores relativamente pouco profundas são usadas, mas a profundidade pode variar. Frequentemente, as árvores são construídas até uma profundidade máxima (sem restrição) ou com uma restrição de 10-30 níveis. Árvores profundas permitem uma melhor separação dos dados, mas podem levar ao sobreajuste. Random Forest reduz o sobreajuste através da média de um grande número de árvores.

• Gradient boosting (por exemplo, XGBoost, LightGBM): Aqui, geralmente, usam-se árvores muito pouco profundas — frequentemente limitadas a 3-8 níveis. Isso ocorre porque o boosting constrói árvores sequencialmente, corrigindo os erros das anteriores, e árvores pouco profundas ajudam a evitar o sobreajuste e melhorar a capacidade de generalização.

Assim, em Random Forest, a profundidade das árvores pode ser maior, enquanto no boosting costuma ser menor, para garantir um treinamento mais estável e uma melhor generalização.