Какой функционал оптимизируется при обучении логистической регрессии?

При обучении логистической регрессии оптимизируется функционал потерь, чаще всего — логарифмическая функция потерь (log loss или кросс-энтропия). Эта функция измеряет расхождение между предсказанными вероятностями принадлежности к классам и реальными метками. Цель обучения — минимизировать сумму этих потерь по всем обучающим примерам, что приводит к нахождению оптимальных параметров модели (весов).

Пример функции потерь для бинарной логистической регрессии:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))\right] ]

где:

• (h_\theta(x)) — предсказанная вероятность,
• (y^{(i)}) — истинная метка,
• (m) — число примеров.

Оптимизация обычно проводится с помощью градиентного спуска или его вариантов.