Por que não se pode aprender apenas com as saídas no boosting de gradiente?

No boosting por gradiente, o treino ocorre nos resíduos (gradientes do erro), e não nas saídas dos modelos anteriores. Se tentar treinar o próximo algoritmo base apenas nas saídas anteriores, o modelo não minimizará corretamente o erro, pois não leva em conta a direção e a magnitude do erro, apenas a previsão final.

O treino com base nos gradientes permite corrigir sequencialmente os erros dos modelos anteriores, garantindo convergência e melhoria na qualidade. Se treinar apenas nas saídas, o modelo pode sobreajustar ou não atingir o ótimo, pois não considera o quão forte e em que direção ajustar as previsões.

Exemplo: no boosting por gradiente clássico, o próximo regressor é treinado na diferença entre os valores verdadeiros e as previsões atuais (resíduos), e não nas próprias previsões.