Gradyan artırma ile rastgele orman arasındaki fark nedir?

Gradient Boosting ve Rastgele Orman, her ikisi de karar ağaçlarına dayanan topluluk makine öğrenimi yöntemleridir, ancak model oluşturma ve birleştirme prensipleri açısından farklılık gösterirler.

Rastgele Orman (Random Forest):

• Veri ve özelliklerin rastgele alt örnekleri üzerinde bağımsız birçok karar ağacı inşa eder.
• Her ağaç paralel ve bağımsız olarak eğitilir.
• Nihai tahmin, tüm ağaçların sonuçlarının ortalaması (regresyon için) veya oy çokluğu (sınıflandırma için) ile elde edilir.
• Temel fikir, rastgelelik ve ortalama ile aşırı uyumu azaltmaktır.

Gradient Boosting:

• Ağaçları ardışık olarak inşa eder, her yeni ağaç önceki hataları düzeltmeye çalışır.
• Kayıp fonksiyonunu minimize etmek için gradyan inişi kullanır, kalanları yaklaşıklaştıran yeni modeller ekler.
• Nihai model, tüm ağaçların ağırlıklı toplamıdır.
• Genellikle daha yüksek doğruluk sağlar, ancak dikkatli ayar gerektirir ve aşırı uyuma karşı daha hassastır.

Kısaca: rastgele orman, rastgele alt örnekler üzerinde inşa edilen bağımsız ağaçların topluluğudur, gradient boosting ise her biri önceki hataları düzelten ardışık ağaç eğitimidir.