Mi a veszteségfüggvény a logisztikus regresszióhoz?

A logisztikus regresszió veszteségfüggvénye a bináris kereszt-entropia (log loss). Ez méri a predikált valószínűségek és a valódi osztálycímkék közötti különbséget.

Egy y (0 vagy 1) címkével ellátott objektum esetén és egy p (az 1-es osztály valószínűsége) előrejelzett valószínűséggel, a veszteségfüggvény így írható:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Ez a függvény bünteti a modellt a helytelen előrejelzésekért, különösen akkor, ha a modell biztos a helytelen válaszban.

Python példában numpy használatával:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # stabilitásért
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))