Lojistik regresyon eğitimi sırasında hangi fonksiyonellik optimize edilir?

Lojistik regresyonu eğitilirken, genellikle log kayıp fonksiyonu (log loss veya çapraz entropi) optimize edilir. Bu fonksiyon, tahmin edilen sınıf olasılıkları ile gerçek etiketler arasındaki farkı ölçer. Eğitim amacı, tüm eğitim örnekleri üzerindeki bu kayıpların toplamını minimize etmek olup, bu da modelin (ağırlıkların) en uygun parametrelerini bulmaya yol açar.

İkili lojistik regresyon için örnek kayıp fonksiyonu:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))\right] ]

Burada:

• (h_\theta(x)) tahmin edilen olasılık,
• (y^{(i)}) gerçek etiket,
• (m) örnek sayısıdır.

Optimizasyon genellikle gradyan inişi veya onun varyantlarıyla yapılır.