Jaká je ztrátová funkce pro logistickou regresi?

Ztrátová funkce pro logistickou regresi je binární křížová entropie (log loss). Měří rozdíl mezi předpovězenými pravděpodobnostmi a skutečnými štítky tříd.

Pro objekt s štítkem y (0 nebo 1) a předpovězenou pravděpodobností p (pravděpodobnost třídy 1) je ztrátová funkce zapsána takto:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Tato funkce penalizuje model za nesprávné předpovědi, zejména pokud je model přesvědčen o nesprávné odpovědi.

Příklad v Pythonu s numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # pro stabilitu
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))