Jaka głębokość drzew jest używana w Random Forest i boosting?

W Random Forest i boosting, głębokość drzew jest ważnym hiperparametrem, który wpływa na jakość modelu i nadmierne dopasowanie.

• Random Forest: Zazwyczaj używa się stosunkowo płytkich drzew, ale głębokość może się różnić. Często drzewa są budowane do maksymalnej głębokości (bez ograniczeń) lub z ograniczeniem do 10-30 poziomów. Głębokie drzewa pozwalają lepiej rozdzielać dane, ale mogą prowadzić do nadmiernego dopasowania. Random Forest zmniejsza nadmierne dopasowanie poprzez uśrednianie wielu drzew.

• Gradient boosting (np. XGBoost, LightGBM): Tutaj zwykle stosuje się bardzo płytkie drzewa — często ograniczone do 3-8 poziomów. Wynika to z faktu, że boosting buduje drzewa sekwencyjnie, poprawiając błędy poprzednich, a płytkie drzewa pomagają unikać nadmiernego dopasowania i poprawiają zdolność generalizacji.

W związku z tym, w Random Forest głębokość drzew może być większa, a w boosting — zazwyczaj mniejsza, aby zapewnić bardziej stabilne uczenie i lepszą generalizację.