Come determinare la derivata della funzione di perdita per logloss e MSE?

Per le funzioni di perdita nel machine learning, è spesso necessario calcolare la derivata (gradiente) per ottimizzare il modello.

1. MSE (Errore Quadratico Medio) — errore quadratico medio:

Funzione di perdita:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivata rispetto alla previsione ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (funzione di perdita logaritmica) — usata nei compiti di classificazione (ad esempio, regressione logistica):

Per classificazione binaria:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

dove ( y_i \in {0,1} ), ( \hat{y}_i ) è la probabilità prevista della classe 1.

Derivata rispetto a ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Nel contesto della regressione logistica, se ( \hat{y}_i = \sigma(z_i) ) (sigmoide), allora la derivata rispetto all'input del modello ( z_i ) sarà:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Questo semplifica i calcoli durante l'addestramento.

Pertanto, per ottimizzare il modello, è necessario usare queste derivate per aggiornare i parametri tramite metodi di gradiente.