Kokia turėtų būti medžių gylis Random Forest ir boosting?

Random Forest dažnai pasirenkama tokia medžių gylis, kad medžiai galėtų gerai atskirti duomenis ir užfiksuoti sudėtingas priklausomybes. Dažnai medžiai statomi iki maksimalaus gylio (kol liko mažai objektų lapuose), tai padeda sumažinti nuokrypį, o daugelio medžių vidurkis sumažina dispersiją.

Boosting'e (pavyzdžiui, Gradient Boosting) priešingai, medžiai dažniausiai yra maži — 3-5 lygių gylio. Tai susiję su tuo, kad boosting kuria medžius sekliškai, taisydamas ankstesnių klaidas. Maži medžiai padeda išvengti per didelio prisitaikymo ir daro modelį stabilesnį.

Todėl:

• Random Forest: gilūs medžiai (dažnai be gylio apribojimo).
• Boosting: ploni medžiai (3-5 lygiai).

Tiksli gylio pasirinkimas priklauso nuo užduoties, duomenų kiekio ir modelio bendros gebėjimo apibendrinti reikalavimų.