O que é o boosting por gradiente? Onde aparece o gradiente?

O boosting por gradiente é um método de aprendizagem em ensemble que constrói um modelo de forma sequencial, adicionando novos modelos fracos (geralmente árvores de decisão) para corrigir os erros dos anteriores.

O gradiente surge quando cada novo modelo é treinado no gradiente da função de perda em relação às previsões do modelo de ensemble atual. Simplificando, minimizamos o erro usando descida de gradiente no espaço de funções.

A cada passo, o gradiente do erro (direção e magnitude na qual as previsões devem ser melhoradas) é calculado, e o novo modelo é treinado para prever esse gradiente, ajustando assim a previsão final.

Isso permite reduzir efetivamente o erro e melhorar a qualidade do modelo por meio de aprendizagem sequencial a partir dos erros dos modelos anteriores.