Gradyan artırmada dengeyi sağlayan nedir?

Gradient boosting'te, ağırlıklar, modelin şu anki adımda tahminleriyle ilgili kayıp fonksiyonunun türevleri olan gradyanlar tarafından temsil edilir. Bu gradyanlar, hatayı azaltmak için tahminlerin ne kadar düzeltilmesi gerektiğini gösterir.

Her adımda, yeni bir model (genellikle bir ağaç) inşa edilir ve bu model, önceki modelin negatif gradyanlarını (hatalarını) tahmin etmeyi öğrenir. Böylece, ağırlıklar düzeltilmesi gereken hatalar olup, bunlar bir sonraki modelin eğitimini yönlendirerek nihai sonucu iyileştirir.

Örnek: Kayıp fonksiyonu MSE ise, gradyanlar tahmin edilen ve gerçek değerler arasındaki fark olacaktır ve yeni model bu farkı tahmin etmeye çalışacaktır.