O que é o método de máxima verosimilhança? Como se obtém o Log Loss a partir dele?

O método de máxima verosimilhança (Maximum Likelihood Estimation, MLE) é uma forma de estimar os parâmetros do modelo, na qual se escolhem os parâmetros que maximizam a probabilidade dos dados observados.

Simplificando, procuramos os parâmetros do modelo para os quais os dados são mais prováveis.

Em tarefas de classificação, por exemplo, binária, o modelo prevê a probabilidade de pertencer a uma classe. A verosimilhança é o produto das probabilidades corretas para todos os objetos.

Para simplificar os cálculos, toma-se o logaritmo da verosimilhança (o logaritmo do produto transforma-se na soma dos logaritmos). A maximização do logaritmo da verosimilhança é equivalente à maximização da própria verosimilhança.

Log Loss (função de perda logarítmica) é o logaritmo negativo da verosimilhança, médio por todos os objetos. Minimizar o Log Loss corresponde a maximizar a verosimilhança.

Exemplo para classificação binária:

Se o modelo prevê uma probabilidade ( p ) da classe 1, e a classe verdadeira ( y ) é 0 ou 1, então o Log Loss para um objeto:

[ -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

Ao minimizar esta função de perda, maximizamos a probabilidade das etiquetas observadas dado os parâmetros do modelo.