Kokia yra nuostolių funkcija logistinei regresijai?

Logistinės regresijos nuostolių funkcija yra dvejetainė kryžminė entropija (log loss). Ji matuoja skirtumą tarp prognozuojamų tikimybių ir tikrųjų klasių žymenų.

Objektui su žyme y (0 arba 1) ir prognozuojama tikimybe p (klasės 1 tikimybė), nuostolių funkcija rašoma taip:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Ši funkcija baudžia modelį už neteisingus prognozes, ypač jei modelis yra tikras dėl neteisingo atsakymo.

Pavyzdys Python kalba su numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # stabilumui
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))