Ce este metoda maximum de verosimilitate? Cum se obține Log Loss din ea?

Metoda celei mai mari verosimilități (Maximum Likelihood Estimation, MLE) este o metodă de estimare a parametrilor modelului, în care se aleg acei parametri care maximizează probabilitatea datelor observate.

Pe scurt, căutăm parametrii modelului pentru care datele sunt cele mai probabile.

În sarcinile de clasificare, de exemplu, binare, modelul prezice probabilitatea de aparținere la o clasă. Verosimilitatea este produsul probabilităților corecte pentru toate obiectele.

Pentru a simplifica calculele, se ia logaritmul verosimilității (logaritmul produsului devine suma logaritmilor). Maximizarea logaritmului verosimilității este echivalentă cu maximizarea verosimilității în sine.

Log Loss (funcția de pierdere logaritmică) este logaritmul negativ al verosimilității, mediat pe toate obiectele. Minimizarea Log Loss corespunde maximizării verosimilității.

Exemplu pentru clasificare binară:

Dacă modelul prezice o probabilitate ( p ) pentru clasa 1, iar clasa adevărată ( y ) este 0 sau 1, atunci Log Loss pentru un obiect:

[ -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

Minimizând această funcție de pierdere, maximizăm probabilitatea etichetelor observate date fiind parametrii modelului.