Qual é a função de perda para a regressão logística?

A função de perda para regressão logística é a entropia cruzada binária (perda logarítmica). Ela mede a diferença entre as probabilidades previstas e os rótulos de classe verdadeiros.

Para um objeto com rótulo y (0 ou 1) e uma probabilidade prevista p (probabilidade da classe 1), a função de perda é escrita assim:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Esta função penaliza o modelo por previsões incorretas, especialmente se o modelo estiver confiante na resposta incorreta.

Exemplo em Python usando numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # para estabilidade
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))