Como determinar a derivada da função de perda para logloss e MSE?

Para funções de perda em aprendizagem automática, muitas vezes é necessário calcular a derivada (gradiente) para otimizar o modelo.

1. MSE (Erro Quadrático Médio) — erro quadrático médio:

Função de perda:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivada em relação à previsão ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (função de perda logarítmica) — usada em tarefas de classificação (por exemplo, regressão logística):

Para classificação binária:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

onde ( y_i \in {0,1} ), ( \hat{y}_i ) é a probabilidade prevista da classe 1.

Derivada em relação a ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

No contexto de regressão logística, se ( \hat{y}_i = \sigma(z_i) ) (sigmoide), então a derivada em relação à entrada do modelo ( z_i ) será:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Isto simplifica os cálculos durante o treino.

Assim, para otimizar o modelo, é necessário usar estas derivadas para atualizar os parâmetros usando métodos de gradiente.