Neden sadece gradyan artırmada çıkışlar üzerinden öğrenilemez?

Gradient boosting'de eğitim, hataların (gradyanların) kalanları üzerinde gerçekleşir, yani önceki modellerin çıkışları üzerinde değil. Bir sonraki temel algoritmayı sadece önceki çıkışlar üzerinde eğitmeye çalışırsanız, model hatayı doğru şekilde minimize etmeyecektir çünkü hata yönünü ve büyüklüğünü dikkate almaz, sadece nihai tahmini kullanır.

Gradyanlar üzerinde eğitim, önceki modellerin hatalarını ardışık olarak düzeltmeye olanak tanır, bu da yakınsama ve kalite artışını sağlar. Sadece çıkışlar üzerinde eğitilirse, model aşırı uyum sağlayabilir veya optimuma ulaşmayabilir çünkü tahminleri ne kadar ve hangi yönde düzeltmesi gerektiğini dikkate almaz.

Örnek: klasik gradient boosting'de, bir sonraki regresör gerçek değerler ile mevcut tahminler arasındaki fark (kalanlar) üzerinde eğitilir, kendileri üzerinde değil.