Jaka jest funkcja straty dla regresji logistycznej?

Funkcja straty dla regresji logistycznej to binarna entropia krzyżowa (log loss). Mierzy różnicę między przewidywanymi prawdopodobieństwami a prawdziwymi etykietami klas.

Dla obiektu z etykietą y (0 lub 1) i przewidywanym prawdopodobieństwem p (prawdopodobieństwo klasy 1), funkcja straty jest zapisywana tak:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Ta funkcja karze model za błędne przewidywania, szczególnie jeśli model jest pewny niepoprawnej odpowiedzi.

Przykład w Pythonie z użyciem numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # dla stabilności
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))