Градиент бустинг чист? Градиент дар куҷо пайдо мешавад?

Градиентли бустинг — бу ансамбл ўрганиш усули бўлиб, у моделни кетма-кет қуриб, янги заиф моделлар (одатда қарор дарахтлари) қўшиб, аввалги хатоларни тўғрилайди.

Градиент ҳар бир янги модел ҳозирги ансамбл моделининг тахминиларига оид йўқотиш функциясининг градиентида ўқитилади. Оддий қилиб айтганда, биз хатони функциялар майдонида градиент тушиши ёрдамида минималлаштирамиз.

Ҳар бир қадамда, хатонинг градиенти (йўналиш ва миқдор, қайда яхшилаш керак) ҳисобланади, ва янги модел бу градиентни тахмин қилиш учун ўқитилади, шу тариқа охирги тахминни тўғрилайди.

Бу моделнинг хатоларини самарали камайтириш ва модел сифатини яхшилашга имкон беради.