Mi működik mérlegként a gradiens boostolásban?

A gradiens boostingban a súlyokat a gradiensek képviselik, amelyek a veszteségfüggvények deriváltjai a modell aktuális lépésében. Ezek a gradiensek mutatják, hogy mennyire kell korrigálni a predikciókat a hiba csökkentése érdekében.

Minden lépésben egy új modellt (általában egy fát) építenek, amely megtanulja előre jelezni az előző modell negatív gradiensét (hibáit). Így a súlyok a javítandó hibák, amelyek irányítják a következő modell tanulását a végső eredmény javítása érdekében.

Példa: ha a veszteségfüggvény MSE, akkor a gradiens a predikált és a valódi értékek közötti különbség lesz, és az új modell megpróbálja előre jelezni ezt a különbséget.