Mekkora a fák mélysége a Random Forest és a boosting esetében?

A Random Forest és a boosting esetében a fák mélysége egy fontos hiperparaméter, amely befolyásolja a modell minőségét és a túlillesztést.

• Random Forest: Általában viszonylag sekély fákat használnak, de a mélység változhat. Gyakran a fákat maximális mélységig (korlátozás nélkül) vagy 10-30 szint között építik. A mélyebb fák jobban el tudják választani az adatokat, de túlillesztéshez vezethetnek. A Random Forest a sok fa átlagolásával csökkenti a túlillesztést.

• Gradient boosting (pl. XGBoost, LightGBM): Itt általában nagyon sekély fákat használnak — gyakran 3-8 szintre korlátozva. Ez azért van, mert a boosting szekvenciálisan épít fákat, javítva az előző hibákat, és a sekély fák segítenek elkerülni a túlillesztést és javítják az általánosíthatóságot.

Így a Random Forest esetében a fák mélysége nagyobb lehet, míg a boostingnál általában kisebb, hogy stabilabb tanulást és jobb általánosítást biztosítson.