Mi az a gradient boosting? Hol jelenik meg a gradiens?
sobes.tech MI
Válasz az MI-től
A gradiens boosting egy ensemble tanulási módszer, amely szekvenciálisan épít fel egy modellt, új gyenge modelleket (általában döntési fákat) adva hozzá, hogy kijavítsa a korábbi hibákat.
A gradiens akkor jelenik meg, amikor minden új modellt a jelenlegi ensemble modell predikcióihoz viszonyított veszteségfüggvény gradiensén tanítanak. Egyszerűbben fogalmazva, a hibát a függvények térképén végzett gradiens leszállással minimalizáljuk.
Minden lépésben kiszámítják a hiba gradiensét (az irányt és a mértéket, ahol javítani kell a predikciókat), és az új modellt arra tanítják, hogy előre jelezze ezt a gradienset, így korrigálva a végső predikciót.
Ez lehetővé teszi a hiba hatékony csökkentését és a modell minőségének javítását a korábbi modellek hibáiból származó szekvenciális tanulással.