Aká depth stromov sa používa v Random Forest a boosting?

V Random Forest a boosting je hlbokosť stromov dôležitým hyperparametrom, ktorý ovplyvňuje kvalitu modelu a preškolenie.

• Random Forest: Zvyčajne sa používajú relatívne plytké stromy, ale hlbokosť sa môže líšiť. Často sa stromy stavajú do maximálnej hĺbky (bez obmedzenia) alebo s obmedzením na 10-30 úrovní. Hlboké stromy umožňujú lepšie rozdeľovanie dát, ale môžu viesť k preškoleniu. Random Forest znižuje preškolenie priemerním veľkého počtu stromov.

• Gradient boosting (napríklad XGBoost, LightGBM): Tu sa zvyčajne používajú veľmi plytké stromy — často obmedzené na 3-8 úrovní. To je spôsobené tým, že boosting stavia stromy sekvenčne, opravujúc chyby predchádzajúcich, a plytké stromy pomáhajú vyhnúť sa preškoleniu a zlepšiť schopnosť generalizácie.

Takže v Random Forest môže byť hlbokosť stromov väčšia, zatiaľ čo v boostingu je zvyčajne menšia, aby sa zabezpečilo stabilnejšie učenie a lepšia generalizácia.