¿Cuál es la función de pérdida para la regresión logística?

La función de pérdida para la regresión logística es la entropía cruzada binaria (pérdida logarítmica). Mide la diferencia entre las probabilidades predichas y las etiquetas de clase verdaderas.

Para un objeto con etiqueta y (0 o 1) y una probabilidad predicha p (probabilidad de la clase 1), la función de pérdida se escribe así:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Esta función penaliza al modelo por predicciones incorrectas, especialmente si el modelo está seguro de una respuesta incorrecta.

Ejemplo en Python usando numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # para estabilidad
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))