Kui sügavad peaksid olema Random Forest ja boosting'i puud?

Random Forests valikulise puude sügavus tavaliselt piisavalt suureks, et puud saaksid hästi eristada andmeid ja haarata keerulisi sõltuvusi. Sageli ehitatakse puud maksimaalsesse sügavusse (kuni vähe objekte jääb lehtedesse), mis aitab vähendada viga ning mitme puu keskmisega vähendada dispersiooni.

Boostingus (näiteks Gradient Boosting) on puud seevastu tavaliselt väikesed — 3-5 taseme sügavusega. See tuleneb sellest, et boosting ehitab puid järjestikku, parandades eelnevaid vigu. Väikesed puud aitavad vältida üleõppimist ning muudavad mudeli stabiilsemaks.

Seega:

• Random Forest: sügavad puud (tihti ilma sügavuse piiranguta).
• Boosting: madala sügavusega puud (3-5 taset).

Täpset sügavust valides sõltub see ülesandest, andmete mahust ning mudeli üldistamisvõimest.