De ce nu se poate învăța doar din ieșiri în boostingul de gradient?

În boostingul pe gradient, antrenamentul se face pe reziduuri (gradienți ai erorii), nu pe ieșirile propriu-zise ale modelelor anterioare. Dacă încerci să antrenezi următorul algoritm de bază doar pe ieșirile anterioare, modelul nu va minimiza corect eroarea, deoarece nu ia în considerare direcția și mărimea erorii, ci doar prognoza finală.

Antrenamentul pe gradienti permite corectarea secvențială a erorilor modelelor anterioare, asigurând convergența și îmbunătățirea calității. Dacă se antrenează doar pe ieșiri, modelul poate supraînvăța sau nu atinge optimul, deoarece nu consideră cât de mult și în ce direcție trebuie ajustate predicțiile.

Exemplu: în boostingul clasic pe gradient, următorul regresor este antrenat pe diferența dintre valorile reale și predicțiile curente (reziduuri), nu pe predicții în sine.