Dlaczego nie można bezpośrednio optymalizować dokładności?

Nie można bezpośrednio optymalizować dokładności, ponieważ ta metryka nie jest funkcją różniczkowalną, a zatem nie można jej używać jako funkcji celu dla metod optymalizacji gradientowej. Dokładność mierzy odsetek poprawnych przewidywań, co sprowadza się do funkcji progowej (np. 0 lub 1), która nie dostarcza użytecznego gradientu do uczenia.

Ponadto, dokładność może być nieinformacyjna przy niezrównoważonych klasach — model może wykazywać wysoką dokładność, po prostu przewidując najczęstszy klasa.

Dlatego zwykle optymalizuje się inne funkcje straty (np. entropię krzyżową), które są gładkie i różniczkowalne, a dokładność używa się jako końcowej metryki do oceny jakości modelu.