Qual funcionalidade é otimizada durante o treino de regressão logística?

Ao treinar regressão logística, a função de perda é otimizada, geralmente a função de perda logarítmica (perda logarítmica ou entropia cruzada). Esta função mede a divergência entre as probabilidades previstas de pertença às classes e as etiquetas reais. O objetivo do treino é minimizar a soma dessas perdas em todos os exemplos de treino, levando à descoberta dos parâmetros ótimos do modelo (pesos).

Exemplo de função de perda para regressão logística binária:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))\right] ]

onde:

• (h_\theta(x)) é a probabilidade prevista,
• (y^{(i)}) é a etiqueta verdadeira,
• (m) é o número de exemplos.

A otimização é geralmente realizada usando descida de gradiente ou suas variantes.