Mekkora legyen a fák mélysége a Random Forest és a boosting esetében?

A Random Forest-ben a fák mélységét általában elég nagyra választják, hogy a fák jól tudják szétválasztani az adatokat és összetett függőségeket rögzíteni. Gyakran a fákat a maximális mélységig építik (amíg kevés objektum marad a leveleken), ami segít csökkenteni a torzítást, és több fa átlagolásával csökken a variancia.

A boosting (például Gradient Boosting) ezzel szemben általában kicsi fákat használ — 3-5 szint mélységűeket. Ez azért van, mert a boosting szekvenciálisan épít fákat, javítva az előzőek hibáit. A kicsi fák segítenek elkerülni a túlillesztést, és stabilabbá teszik a modellt.

Így:

• Random Forest: mély fák (gyakran korlátlan mélységgel).
• Boosting: sekély fák (3-5 szint).

A pontos mélység kiválasztása a feladattól, az adatmennyiségtől és a modell általánosítási képességétől függ.