Hoe bepaal je de afgeleide van de verliesfunctie voor logloss en MSE?

Voor verliesfuncties in machine learning is het vaak nodig om de afgeleide (gradiënt) te berekenen om het model te optimaliseren.

1. MSE (Mean Squared Error) — gemiddelde kwadratische fout:

Verliesfunctie:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Afgeleide ten opzichte van de voorspelling ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logarithmische verliesfunctie) — gebruikt bij classificatietaken (bijvoorbeeld logistische regressie):

Voor binaire classificatie:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

waar ( y_i \in {0,1} ), ( \hat{y}_i ) is de voorspelde waarschijnlijkheid van klasse 1.

Afgeleide ten opzichte van ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

In de context van logistische regressie, als ( \hat{y}_i = \sigma(z_i) ) (sigmoid), dan is de afgeleide ten opzichte van de invoer ( z_i ):

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Dit vereenvoudigt de berekeningen tijdens training.

Dus, om het model te optimaliseren, moeten deze afgeleiden worden gebruikt om de parameters bij te werken met behulp van gradiëntmethoden.