Jaka powinna być głębokość drzew w Random Forest i boosting?

W Random Forest głębokość drzew zwykle wybiera się na tyle dużą, aby drzewa mogły dobrze rozdzielać dane i wychwytywać złożone zależności. Często drzewa są budowane do maksymalnej głębokości (dopóki w liściach nie pozostanie niewiele obiektów), co pomaga zmniejszyć błąd systematyczny, a poprzez uśrednianie wielu drzew zmniejsza się wariancja.

W boosting (np. Gradient Boosting) z kolei drzewa są zwykle małe — o głębokości 3-5 poziomów. Wynika to z faktu, że boosting buduje drzewa sekwencyjnie, poprawiając błędy poprzednich. Małe drzewa pomagają uniknąć nadmiernego dopasowania i czynią model bardziej stabilnym.

Zatem:

• Random Forest: głębokie drzewa (często bez ograniczenia głębokości).
• Boosting: płytkie drzewa (3-5 poziomów).

Wybór dokładnej głębokości zależy od zadania, ilości danych i wymagań dotyczących zdolności generalizacji modelu.