Jaká by měla být hloubka stromů v Random Forest a boosting?

V Random Forest je hloubka stromů obvykle nastavena tak, aby stromy mohly dobře rozdělovat data a zachytit složité závislosti. Často jsou stromy stavěny až do maximální hloubky (dokud nezůstane málo objektů v listech), což pomáhá snižovat zkreslení, a průměrováním mnoha stromů se snižuje rozptyl.

V boosting (například Gradient Boosting) jsou naopak stromy obvykle malé — s hloubkou 3-5 úrovní. To je způsobeno tím, že boosting staví stromy sekvenčně, opravujíc chyby předchozích. Malé stromy pomáhají vyhnout se přeučení a činí model stabilnější.

Takže:

• Random Forest: hluboké stromy (často bez omezení hloubky).
• Boosting: mělké stromy (3-5 úrovní).

Volba přesné hloubky závisí na úkolu, objemu dat a požadavcích na schopnost generalizace modelu.