Cosa funge da bilancia nel boosting del gradiente?

Nel boosting del gradiente, i pesi sono rappresentati dai gradienti, che sono le derivate della funzione di perdita rispetto alle predizioni del modello nel passo corrente. Questi gradienti indicano quanto bisogna correggere le predizioni per ridurre l'errore.

Ad ogni passo, viene costruito un nuovo modello (solitamente un albero), che impara a prevedere i gradienti negativi (errori) del modello precedente. Quindi, i pesi sono gli errori da correggere, e guidano l'addestramento del modello successivo per migliorare il risultato finale.

Esempio: se la funzione di perdita è MSE, i gradienti saranno la differenza tra i valori predetti e quelli reali, e il nuovo modello cercherà di prevedere questa differenza.