Что такое таргет для деревьев в бустинге и как он формируется?

В бустинге, например в градиентном бустинге, таргет для каждого дерева — это целевая переменная, на которую обучается текущее дерево. Однако это не исходный таргет из данных, а так называемый псевдо-таргет, который формируется на основе ошибок предыдущих деревьев.

Процесс формирования таргета для дерева следующий:

1. На каждом шаге бустинга вычисляются остатки (residuals) — разница между текущими предсказаниями модели и реальными значениями таргета.
2. Эти остатки служат новым таргетом для следующего дерева, то есть дерево обучается предсказывать ошибки предыдущей модели.
3. Таким образом, каждое новое дерево пытается скорректировать ошибки предыдущих, улучшая итоговое предсказание.

Пример: если у нас есть функция потерь L(y, F(x)), то таргет для следующего дерева — это отрицательный градиент функции потерь по предсказанию модели на текущем шаге:

[ target_i = -\left. \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right|{F(x)=F{m-1}(x)} ]

Где (F_{m-1}(x)) — предсказание модели на предыдущем шаге.

Таким образом, таргет для дерева — это целевая величина, отражающая направление и величину корректировки, которую дерево должно внести в предсказание.