Koliko treba biti dubina stabala u Random Forest i boostingu?

U Random Forest-u, dubina stabala obično se bira dovoljno velika da stabla mogu dobro razdvajati podatke i hvataju složene zavisnosti. Često se stabla grade do maksimalne dubine (dok u listovima ne ostane malo objekata), što pomaže u smanjenju pristrasnosti, a prosekom više stabala smanjuje se varijansa.

U boostingu (npr. Gradient Boosting), naprotiv, stabla su obično mala — dubine od 3-5 nivoa. To je zbog toga što boosting gradi stabla sekvencijalno, ispravljajući greške prethodnih. Mala stabla pomažu da se izbegne preprilagođavanje i čine model stabilnijim.

Dakle:

• Random Forest: duboka stabla (često bez ograničenja dubine).
• Boosting: plitka stabla (3-5 nivoa).

Izbor tačne dubine zavisi od zadatka, obima podataka i zahteva za sposobnošću modela da se generalizuje.