Was ist die Verlustfunktion für die logistische Regression?

Die Verlustfunktion für die logistische Regression ist die binäre Kreuzentropie (Log-Verlust). Sie misst die Differenz zwischen den vorhergesagten Wahrscheinlichkeiten und den tatsächlichen Klassenetiketten.

Für ein Objekt mit Label y (0 oder 1) und einer vorhergesagten Wahrscheinlichkeit p (Wahrscheinlichkeit der Klasse 1) wird die Verlustfunktion wie folgt geschrieben:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Diese Funktion bestraft das Modell für falsche Vorhersagen, insbesondere wenn das Modell bei der falschen Antwort sehr sicher ist.

Beispiel in Python mit numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # für Stabilität
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))