Какво е методът на максималната вероятност? Как от него се получава Log Loss?

Методът на максимална вероятност (Maximum Likelihood Estimation, MLE) е начин за оценка на параметрите на модела, при който се избират такива параметри, които максимизират вероятността на наблюдаваните данни.

По-просто казано, търсим параметрите на модела, при които данните са най-вероятни.

В задачите за класификация, например бинарна, моделът предсказва вероятността за принадлежност към клас. Вероятността е произведението на вероятностите на правилните класове за всички обекти.

За да улесним изчисленията, взимаме логаритъма на вероятността (логаритъмът на произведението става сума на логаритмите). Максимизирането на логаритъма на вероятността е еквивалентно на максимизирането на самата вероятност.

Log Loss (логаритмична функция на загуба) е отрицателният логаритъм на вероятността, среден за всички обекти. Минимирането на Log Loss съответства на максимизирането на вероятността.

Пример за бинарна класификация:

Ако моделът предсказва вероятност ( p ) за класа 1, а истинският клас ( y ) е 0 или 1, тогава Log Loss за един обект:

[ -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

Чрез минимизиране на тази функция на загуба, ние максимизираме вероятността на наблюдаваните етикети при зададени параметри на модела.