Wie bestimmt man die Ableitung der Verlustfunktion für Logloss und MSE?

Bei Verlustfunktionen im maschinellen Lernen ist es oft notwendig, die Ableitung (Gradienten) zu berechnen, um das Modell zu optimieren.

1. MSE (Mittlerer quadratischer Fehler) — mittlerer quadratischer Fehler:

Verlustfunktion:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Ableitung bezüglich der Vorhersage ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logarithmische Verlustfunktion) — wird bei Klassifikationsaufgaben verwendet (z.B. logistische Regression):

Für binäre Klassifikation:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

wobei ( y_i \in {0,1} ), ( \hat{y}_i ) die vorhergesagte Wahrscheinlichkeit der Klasse 1 ist.

Ableitung bezüglich ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Im Kontext der logistischen Regression, wenn ( \hat{y}_i = \sigma(z_i) ) (Sigmoidfunktion), ist die Ableitung bezüglich des Eingangs ( z_i ):

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Dies vereinfacht die Berechnungen während des Trainings.

Daher ist es für die Modelloptimierung notwendig, diese Ableitungen zu verwenden, um die Parameter mit Gradientenmethoden zu aktualisieren.