Gradyan artırımı nedir? Gradyan nerede ortaya çıkar?

Gradyan artırma, topluluk öğrenme yöntemidir ve modeli ardışık olarak inşa eder, yeni zayıf modeller (genellikle karar ağaçları) ekleyerek önceki hataları düzeltir.

Her yeni model, mevcut topluluk modelinin tahminlerine ilişkin kayıp fonksiyonunun gradyanı üzerinde eğitildiğinde, gradyan ortaya çıkar. Basitçe söylemek gerekirse, fonksiyonlar alanında gradyan inişi kullanarak hatayı minimize ederiz.

Her adımda, hatanın gradyanı (tahminleri geliştirmek gereken yön ve büyüklük) hesaplanır ve yeni model bu gradyanı tahmin etmek üzere eğitilir, böylece nihai tahmin ayarlanır.

Bu, hatayı etkin bir şekilde azaltmaya ve önceki modellerin hatalarına dayalı ardışık öğrenme yoluyla model kalitesini artırmaya olanak tanır.