Pourquoi ne peut-on pas optimiser directement la précision ?

Il n'est pas possible d'optimiser directement la précision, car cette métrique n'est pas une fonction différentiable, et ne peut donc pas être utilisée comme fonction cible pour les méthodes d'optimisation par gradient. La précision mesure la proportion de prédictions correctes, ce qui revient à une fonction seuil (par exemple, 0 ou 1), qui ne fournit pas de gradient utile pour l'apprentissage.

De plus, la précision peut être peu informative en cas de classes déséquilibrées : le modèle peut afficher une précision élevée simplement en prédisant la classe la plus fréquente.

C'est pourquoi on optimise généralement d'autres fonctions de perte (par exemple, l'entropie croisée), qui sont lisses et différentiables, et on utilise la précision comme métrique finale pour évaluer la qualité du modèle.