Qual è la funzione di perdita per la regressione logistica?

La funzione di perdita per la regressione logistica è l'entropia incrociata binaria (perdita logaritmica). Misura la differenza tra le probabilità previste e le etichette di classe vere.

Per un oggetto con etichetta y (0 o 1) e una probabilità prevista p (probabilità della classe 1), la funzione di perdita si scrive così:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Questa funzione penalizza il modello per previsioni sbagliate, specialmente se il modello è sicuro della risposta sbagliata.

Esempio in Python usando numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # per stabilità
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))