Какво действа като везна в градиентното буустинг?

В градиентното boosting-ване теглата се изпълняват от градиентите — производните на функцията за загуба по предсказанията на модела на текущата стъпка. Тези градиенти показват колко силно трябва да се коригират предсказанията, за да се намали грешката.

На всяка стъпка се изгражда нов модел (обикновено дърво), който се обучава да предсказва отрицателните градиенти (грешките) на предишния модел. Така, теглата са грешките, които трябва да бъдат коригирани, и те насочват обучението на следващия модел за подобряване на крайния резултат.

Пример: ако функцията за загуба е MSE, градиентите ще бъдат разликата между предвидените и истинските стойности, и новият модел ще се опита да предвиди тази разлика.