Comment déterminer la dérivée de la fonction de perte pour logloss et MSE?

Pour les fonctions de perte en apprentissage automatique, il est souvent nécessaire de calculer la dérivée (gradient) pour optimiser le modèle.

1. MSE (Erreur Quadratique Moyenne) — erreur quadratique moyenne:

Fonction de perte:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Dérivée par rapport à la prédiction ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (fonction de perte logarithmique) — utilisée dans les tâches de classification (par exemple, régression logistique):

Pour la classification binaire:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

où ( y_i \in {0,1} ), ( \hat{y}_i ) est la probabilité prédite de la classe 1.

Dérivée par rapport à ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Dans le contexte de la régression logistique, si ( \hat{y}_i = \sigma(z_i) ) (sigmoïde), alors la dérivée par rapport à l'entrée du modèle ( z_i ) sera:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Cela simplifie les calculs lors de l'apprentissage.

Ainsi, pour optimiser le modèle, il faut utiliser ces dérivées pour mettre à jour les paramètres à l'aide de méthodes de gradient.