Quelle est la fonction de perte pour la régression logistique?

La fonction de perte pour la régression logistique est l'entropie croisée binaire (perte log). Elle mesure la différence entre les probabilités prédites et les étiquettes de classe réelles.

Pour un objet avec une étiquette y (0 ou 1) et une probabilité prédite p (probabilité de la classe 1), la fonction de perte s'écrit ainsi :

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Cette fonction pénalise le modèle pour des prédictions incorrectes, surtout si le modèle est confiant dans une réponse incorrecte.

Exemple en Python avec numpy :

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # pour la stabilité
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))