Mis toimib kaaluna gradient boostimisel?

Gradient boostingil, kaalud näidatakse gradientide kaudu, mis on kaotusefunktsiooni tuletised mudeli praegusel sammul. Need gradientid näitavad, kui palju tuleb prognoose korrigeerida, et viga vähendada.

Igal sammul ehitatakse uus mudel (tavaliselt puu), mis õpib prognoosima eelneva mudeli negatiivseid gradientide (vigu). Seega on kaalud parandamist vajavad vead, mis juhivad järgmise mudeli koolitust, et parandada lõpptulemust.

Näide: kui kaotusefunktsioon on MSE, siis gradientid on erinevus prognoositavate ja tegelike väärtuste vahel ning uus mudel püüab seda erinevust prognoosida.