Kāda ir zaudējumu funkcija loģistiskajai regresijai?

Bīstamības funkcija loģistiskajā regresijā ir binārā krusto-entrope (log loss). Tā mēra starpību starp prognozētajām varbūtībām un patiesajiem klases marķieriem.

Objektam ar marķieri y (0 vai 1) un prognozēto varbūtību p (klases 1 varbūtība), zaudējumu funkcija tiek rakstīta šādi:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Šī funkcija sodīs modeli par nepareiziem prognozēm, īpaši, ja modelis ir pārliecināts par nepareizu atbildi.

Piemērs Python ar numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # stabilitātei
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))