Какво е градиентен буустинг? Къде се появява градиентът?

Градиентният буустинг е метод за ансамблово обучение, който изгражда модел последователно, като добавя нови слаби модели (обикновено дървета за решения), за да коригира грешките на предишните.

Градиентът се появява, когато всеки нов модел се обучава върху градиента на функцията за загуба спрямо предсказанията на текущия ансамблов модел. Проще казано, минимизираме грешката, използвайки градиентен спуск в пространството на функциите.

На всяка стъпка се изчислява градиентът на грешката (посоката и големината, в която трябва да се подобрят предсказанията), и новият модел се обучава да предсказва този градиент, като по този начин коригира крайната предсказание.

Това позволява ефективно намаляване на грешката и подобряване на качеството на модела чрез последователно обучение върху грешките на предишните модели.