Random Forest və boosting-də ağacların dərinliyi nədir?

Random Forest və boosting-də ağacların dərinliyi modelin keyfiyyətinə və aşırı uyğunlaşmaya təsir edən vacib hiperparametrdir.

• Random Forest: Adətən, nisbətən az dərinliyə malik ağaclar istifadə olunur, lakin dərinlik dəyişə bilər. Tez-tez ağaclar maksimum dərinliyə qədər (məhdudiyyətsiz) və ya 10-30 səviyyə aralığında qurulur. Dərin ağaclar məlumatların daha yaxşı bölünməsinə imkan verir, lakin aşırı uyğunlaşmaya səbəb ola bilər. Random Forest çox sayda ağacın ortalamasını alaraq aşırı uyğunlaşmanı azaldır.

• Gradient boosting (məsələn, XGBoost, LightGBM): Burada adətən çox dərin olmayan ağaclar istifadə olunur — tez-tez 3-8 səviyyə ilə məhdudlaşdırılır. Bu, boosting-in ardıcıl olaraq ağaclar qurması və əvvəlki səhvləri düzəltməsi ilə əlaqədardır və az dərin ağaclar aşırı uyğunlaşmanı qarşısını alır və ümumi qabiliyyəti yaxşılaşdırır.

Beləliklə, Random Forest-da ağacların dərinliyi daha böyük ola bilər, boosting-də isə adətən kiçikdir, daha stabil öyrənmə və daha yaxşı ümumiləşdirmə təmin etmək üçün.