Aká je funkcia straty pre logistickú regresiu?

Funkcia straty pre logistickú regresiu je binárna krížová entropia (log loss). Meria rozdiel medzi predpovedanými pravdepodobnosťami a skutočnými štítkami tried.

Pre objekt s štítkom y (0 alebo 1) a predpovedanou pravdepodobnosťou p (pravdepodobnosť triedy 1), sa funkcia straty zapisuje takto:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Táto funkcia penalizuje model za nesprávne predpovede, najmä ak je model presvedčený o nesprávnej odpovedi.

Príklad v Pythone s numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # pre stabilitu
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))