Kāda būtu jābūt koku dziļumam Random Forest un boosting?

Random Forest parasti tiek izvēlas koku dziļumu, lai koki varētu labi atdalīt datus un uztvert sarežģītas atkarības. Bieži koki tiek būvēti līdz maksimālajam dziļumam (kamēr lapās paliek maz objekti), tas palīdz samazināt novirzi, un, vidēji ņemot vairākus kokus, samazinās dispersija.

Boostingā (piemēram, Gradient Boosting) pretēji, koki parasti ir mazi — ar 3-5 līmeņu dziļumu. Tas ir saistīts ar to, ka boosting veido kokus secīgi, labojot iepriekšējo kļūdas. Mazie koki palīdz izvairīties no pārmācīšanās un padara modeli stabilāku.

Tādēļ:

• Random Forest: dziļi koki (bieži bez dziļuma ierobežojuma).
• Boosting: sekli koki (3-5 līmeņi).

Precīza dziļuma izvēle ir atkarīga no uzdevuma, datu apjoma un modeļa vispārējās spējas generalizēt.