Milyen funkció optimalizálódik a logisztikus regresszió tanítása során?

A logisztikus regresszió tanítása során általában a veszteségfüggvényt optimalizálják, leggyakrabban a log-loss vagy kereszt-entropia függvényt. Ez a függvény méri a különbséget a klasszifikációkhoz rendelt valószínűségek és a tényleges címkék között. A tanulás célja, hogy minimalizálja ezeket a veszteségeket az összes tanítópéldán, ami a modell (súlyok) optimális paramétereinek megtalálásához vezet.

Példa a veszteségfüggvényre bináris logisztikus regresszió esetén:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \ log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

ahol:

• (h_\theta(x)) a becsült valószínűség,
• (y^{(i)}) a valódi címke,
• (m) a példák száma.

Az optimalizálás általában gradient descent vagy annak változatai segítségével történik.