Random Forest ve boosting'te ağaçların derinliği ne olmalı?

Random Forest'ta ağaçların derinliği genellikle verilerin iyi ayrılmasını ve karmaşık bağımlılıkların yakalanmasını sağlayacak kadar büyük seçilir. Sık sık ağaçlar maksimum derinliğe kadar (yani yaprakta az sayıda nesne kalana kadar) inşa edilir, bu da yanlışı azaltmaya yardımcı olur ve birçok ağacın ortalamasıyla varyansı düşürür.

Özellikle Gradient Boosting gibi boosting yöntemlerinde ise, ağaçlar genellikle küçük yapılır — 3-5 seviyeli derinlikte. Bu, boosting'in ardışık olarak ağaçlar inşa etmesi ve önceki hataları düzeltmesiyle ilgilidir. Küçük ağaçlar aşırı uyumu önlemeye yardımcı olur ve modeli daha istikrarlı hale getirir.

Dolayısıyla:

• Random Forest: derin ağaçlar (sık sık derinlik sınırı olmadan).
• Boosting: az derinlikli ağaçlar (3-5 seviyeli).

Kesin derinlik seçimi, göreve, veri hacmine ve modelin genelleme yeteneği gereksinimlerine bağlıdır.