Aká má byť hĺbka stromov v Random Forest a boosting?

V Random Forest je hlbokosť stromov zvyčajne vybraná tak, aby stromy mohli dobre rozdeľovať údaje a zachytiť zložité závislosti. Často sa stromy stavajú až do maximálnej hĺbky (kým v listoch nezostane málo objektov), čo pomáha znižovať skreslenie, a priemerním viacerých stromov sa znižuje rozptyl.

Pri boosting (napríklad Gradient Boosting) sú naopak stromy zvyčajne malé — s hĺbkou 3-5 úrovní. To je spôsobené tým, že boosting stavia stromy sekvenčne, opravujúc chyby predchádzajúcich. Malé stromy pomáhajú vyhnúť sa preučeniu a robia model stabilnejším.

Takže:

• Random Forest: hlboké stromy (často bez obmedzenia hĺbky).
• Boosting: plytké stromy (3-5 úrovní).

Výber presnej hĺbky závisí od úlohy, objemu dát a požiadaviek na schopnosť generalizácie modelu.