Mis on maksimaalse tõenäosuse meetod? Kuidas sellest saadakse Log Loss?

Maksimumi tõenäosuse meetod (Maximum Likelihood Estimation, MLE) on viis hinnata mudeli parameetreid, valides sellised parameetrid, mis maksimeerivad vaadeldavate andmete tõenäosuse.

Lihtsamalt öeldes otsime mudeli parameetreid, mille korral andmed on kõige tõenäolisemad.

Klassifikatsiooni ülesannetes, näiteks binaarses, mudel ennustab tõenäosust kuuluda klassi. Tõenäosus on kõigi objektide õigete klasside tõenäosuste korrutis.

Arvutuste lihtsustamiseks võetakse tõenäosuse logaritm (korrutise logaritm muutub summa logaritmideks). Tõenäosuse logaritmi maksimeerimine on võrdne ise tõenäosuse maksimeerimisega.

Log Loss (logaritmiline kaotusfunktsioon) on tõenäosuse negatiivne logaritm, keskmiselt kõigi objektide kohta. Log Lossi vähendamine vastab tõenäosuse maksimeerimisele.

Näide binaarklassifikatsiooni puhul:

Kui mudel ennustab ( p ) tõenäosust klassile 1, ja tegelik klass ( y ) on 0 või 1, siis ühe objekti Log Loss:

[ -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

Selle kaotusefunktsiooni vähendamisega maksimeerime vaadeldud siltide tõenäosust mudeli parameetritega.