Care este funcția de pierdere pentru regresia logistică?

Funcția de pierdere pentru regresia logistică este entropia încrucișată binară (log loss). Măsoară diferența dintre probabilitățile prezise și etichetele reale ale claselor.

Pentru un obiect cu eticheta y (0 sau 1) și o probabilitate prezisă p (probabilitatea clasei 1), funcția de pierdere se scrie astfel:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Această funcție penalizează modelul pentru predicții greșite, mai ales dacă modelul este sigur pe răspunsul greșit.

Exemplu în Python cu numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # pentru stabilitate
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))