¿Cómo determinar la derivada de la función de pérdida para logloss y MSE?

Para las funciones de pérdida en aprendizaje automático, a menudo es necesario calcular la derivada (gradiente) para optimizar el modelo.

1. MSE (Error Cuadrático Medio) — error cuadrático medio:

Función de pérdida:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivada respecto a la predicción ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (función de pérdida logarítmica) — utilizada en tareas de clasificación (por ejemplo, regresión logística):

Para clasificación binaria:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

donde ( y_i \in {0,1} ), ( \hat{y}_i ) es la probabilidad predicha de la clase 1.

Derivada respecto a ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

En el contexto de regresión logística, si ( \hat{y}_i = \sigma(z_i) ) (sigmoide), entonces la derivada respecto a la entrada del modelo ( z_i ) será:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Esto simplifica los cálculos durante el entrenamiento.

Por lo tanto, para optimizar el modelo, es necesario usar estas derivadas para actualizar los parámetros mediante métodos de gradiente.