Kura funkcionalitāte tiek optimizēta, apmācot loģistisko regresiju?

Logistiskās regresijas apmācības laikā parasti tiek optimizēta zaudējumu funkcija, parasti loģaritmiskā zaudējumu funkcija (log loss vai krust-entropija). Šī funkcija mēra atšķirību starp prognozētajām varbūtībām piederībai klasēm un reālajām marķierēm. Apmācības mērķis ir minimizēt šo zaudējumu summu visiem apmācības piemēriem, kas noved pie modeļa (svaru) optimālo parametru atrašanas.

Piemērs binārai loģistiskajai regresijai:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \ log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

kur:

• (h_\theta(x)) ir prognozētā varbūtība,
• (y^{(i)}) ir reālā marķiere,
• (m) ir piemēru skaits.

Optimizācija parasti tiek veikta, izmantojot gradienta kritumu vai tā variācijas.