Co působí jako váha v gradientovém boostingu?

V gradientovém zesílení se váhy reprezentují gradienty, což jsou derivace ztrátové funkce vzhledem k předpovědím modelu v aktuálním kroku. Tyto gradienty ukazují, jak moc je třeba upravit předpovědi, aby se snížila chyba.

V každém kroku je vytvořen nový model (obvykle strom), který se učí předpovídat záporné gradienty (chyby) předchozího modelu. Takže váhy jsou chyby, které je třeba opravit, a ty řídí trénink dalšího modelu ke zlepšení konečného výsledku.

Příklad: pokud je funkce ztráty MSE, budou gradienty rozdílem mezi předpovězenými a skutečnými hodnotami, a nový model se pokusí předpovědět tento rozdíl.