Waarom kan nauwkeurigheid niet rechtstreeks worden geoptimaliseerd?

Directe optimalisatie van nauwkeurigheid is niet mogelijk omdat deze metriek geen differentieerbare functie is, en daarom niet kan worden gebruikt als doelfunctie voor gradiëntgebaseerde optimalisatiemethoden. Nauwkeurigheid meet het aandeel juiste voorspellingen, wat terug te voeren is op een drempelfunctie (bijvoorbeeld 0 of 1), die geen nuttige gradiënt biedt voor training.

Bovendien kan nauwkeurigheid niet-informatief zijn bij ongebalanceerde klassen — het model kan een hoge nauwkeurigheid tonen door simpelweg de meest voorkomende klasse te voorspellen.

Daarom worden meestal andere verliesfuncties (bijvoorbeeld kruis-entropy) geoptimaliseerd, die glad en differentieerbaar zijn, terwijl nauwkeurigheid wordt gebruikt als eindmeting om de kwaliteit van het model te beoordelen.