Aká funkcia sa optimalizuje pri tréningu logistickej regresie?

Počas tréningu logistickej regresie sa optimalizuje funkcia straty, zvyčajne logaritmická funkcia straty (log loss alebo krížová entropia). Táto funkcia meria odchýlku medzi predpovedanými pravdepodobnosťami príslušnosti ku klasám a skutočnými štítkami. Cieľom tréningu je minimalizovať súčet týchto strát pre všetky tréningové príklady, čo vedie k nájdeniu optimálnych parametrov modelu (váh).

Príklad funkcie straty pre binárnu logistickú regresiu:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \ log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

kde:

• (h_\theta(x)) je predpovedaná pravdepodobnosť,
• (y^{(i)}) je skutočná značka,
• (m) je počet príkladov.

Optimalizácia sa zvyčajne vykonáva pomocou gradientného zostupu alebo jeho variácií.