Что такое метод максимального правдоподобия? Как из него получается Log Loss?

Метод максимального правдоподобия (Maximum Likelihood Estimation, MLE) — это способ оценки параметров модели, при котором выбираются такие параметры, которые максимизируют вероятность наблюдаемых данных.

Проще говоря, мы ищем параметры модели, при которых данные наиболее вероятны.

В задачах классификации, например, бинарной, модель предсказывает вероятность принадлежности к классу. Правдоподобие — это произведение вероятностей правильных классов для всех объектов.

Чтобы упростить вычисления, берут логарифм правдоподобия (логарифм произведения превращается в сумму логарифмов). Максимизация логарифма правдоподобия эквивалентна максимизации самого правдоподобия.

Log Loss (логарифмическая функция потерь) — это отрицательный логарифм правдоподобия, усреднённый по всем объектам. Минимизация Log Loss соответствует максимизации правдоподобия.

Пример для бинарной классификации:

Если модель предсказывает вероятность ( p ) класса 1, а истинный класс ( y ) равен 0 или 1, то Log Loss для одного объекта:

[ -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

Минимизируя эту функцию потерь, мы максимизируем вероятность наблюдаемых меток при заданных параметрах модели.