Logistika reqressiyası təlimi zamanı hansı funksionallıq optimallaşdırılır?

Logistik reqressiya təlimində itki funksiyası optimallaşdırılır, ən çox hallarda isə log itki funksiyası (log loss və ya kross-entropiya). Bu funksiya, proqnozlaşdırılan ehtimallar ilə həqiqi etiketlər arasındakı fərqi ölçür. Təlimin məqsədi, bütün təlim nümunələri üçün bu itkilərin cəmını minimallaşdırmaqdır ki, bu da modelin (ağırlıqların) optimal parametrlərini tapmağa gətirib çıxarır.

İki sinifli logistika reqressiyası üçün nümunə itki funksiyası:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

burada:

• (h_\theta(x)) proqnozlaşdırılan ehtimaldır,
• (y^{(i)}) həqiqi etiket,
• (m) nümunələrin sayı.

Optimizasiya adətən gradient enişi və ya onun variantları ilə həyata keçirilir.