Logloss ve MSE için kayıp fonksiyonunun türevini nasıl belirleriz?

Makine öğreniminde kayıp fonksiyonları için, modeli optimize etmek amacıyla türevini (gradyanı) hesaplamak sıklıkla gereklidir.

1. MSE (Ortalama Kare Hatası) — ortalama kare hata:

Kayıp fonksiyonu:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

( \hat{y}_i ) tahminine göre türev:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logaritmik kayıp fonksiyonu) — sınıflandırma görevlerinde kullanılır (örneğin, lojistik regresyon):

İkili sınıflandırma için:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

Burada ( y_i \in {0,1} ), ( \hat{y}_i ) ise 1 sınıfı için tahmin edilen olasılıktır.

( \hat{y}_i ) üzerine türev:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Lojistik regresyon bağlamında, eğer ( \hat{y}_i = \sigma(z_i) ) (sigmoid), o zaman giriş ( z_i ) üzerine türev:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Bu, eğitim sırasında hesaplamaları kolaylaştırır.

Bu nedenle, modeli optimize etmek için bu türevleri kullanmak ve parametreleri gradyan yöntemleriyle güncellemek gerekir.