Perché non si può semplicemente imparare dalle uscite del boosting del gradiente?

Nel boosting per gradiente, l'addestramento avviene sui residui (gradienti dell'errore), e non sulle uscite stesse dei modelli precedenti. Se si tenta di addestrare il prossimo algoritmo di base semplicemente sulle uscite precedenti, il modello non minimizzerà correttamente l'errore, poiché non considera la direzione e la magnitudine dell'errore, ma solo la previsione finale.

L'addestramento sui gradienti permette di correggere sequenzialmente gli errori dei modelli precedenti, garantendo convergenza e miglioramento della qualità. Se si addestra solo sulle uscite, il modello può sovraccaricare o non raggiungere l'ottimo, poiché non considera quanto e in quale direzione correggere le previsioni.

Esempio: nel boosting per gradient classico, il regressore successivo viene addestrato sulla differenza tra i valori reali e le previsioni attuali (residui), e non sulle previsioni stesse.