Quelle fonctionnalité est optimisée lors de l'entraînement de la régression logistique?

Lors de l'entraînement de la régression logistique, la fonction de perte est optimisée, généralement la fonction de perte logarithmique (perte log ou entropie croisée). Cette fonction mesure la divergence entre les probabilités prédites d'appartenance aux classes et les étiquettes réelles. L'objectif de l'apprentissage est de minimiser la somme de ces pertes sur tous les exemples d'entraînement, ce qui conduit à trouver les paramètres optimaux du modèle (poids).

Exemple de fonction de perte pour la régression logistique binaire:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))\right] ]

où:

• (h_\theta(x)) est la probabilité prédite,
• (y^{(i)}) est l'étiquette réelle,
• (m) est le nombre d'exemples.

L'optimisation est généralement effectuée à l'aide de la descente de gradient ou de ses variantes.