Wat is de verliesfunctie voor logistische regressie?

De verliesfunctie voor logistische regressie is de binaire kruis-entropy (log loss). Het meet het verschil tussen de voorspelde kansen en de werkelijke klasse-labels.

Voor een object met label y (0 of 1) en een voorspelde kans p (kans op klasse 1), wordt de verliesfunctie als volgt geschreven:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Deze functie straft het model voor verkeerde voorspellingen, vooral als het model zeker is van een verkeerd antwoord.

Voorbeeld in Python met numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # voor stabiliteit
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))