Коя функционалност се оптимизира при обучението на логистичната регресия?

По време на обучението на логистичната регресия се оптимизира функцията на загубата, обикновено логаритмичната функция на загубата (log loss или крос-ентропия). Тази функция измерва разликата между предсказаните вероятности за принадлежност към класовете и реалните етикети. Целта на обучението е да минимизира сумата на тези загуби за всички обучителни примери, което води до намиране на оптималните параметри на модела (теглата).

Пример за функция на загубата за бинарна логистична регресия:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

където:

• (h_\theta(x)) е предсказаната вероятност,
• (y^{(i)}) е истинската етикета,
• (m) е броят на примерите.

Обикновено оптимизацията се извършва чрез градиентен спуск или негови варианти.