Koja je funkcija gubitka za logističku regresiju?

Функција губитка за логистичку регресију је бинарна крстосна ентропија (лог губитак). Она мери разлику између предвиђених вероватноћа и истинских етикета класа.

За објекат са етикетом y (0 или 1) и предвиђеном вероватноћом p (вероватноћа класе 1), функција губитка се записује овако:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Ова функција казни модел за погрешна предвиђања, посебно ако је модел сигуран у погрешан одговор.

Пример у Python-у са numpy-ом:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # за стабилност
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))