Šta će se desiti ako uklonite drvo iz boostinga?

В бустинге (например, градиентном бустинге) модель строится как последовательность деревьев решений, каждое из которых исправляет ошибки предыдущих. Если удалить одно дерево из ансамбля, то:

• Общая производительность модели ухудшится, так как уменьшится способность корректировать ошибки.
• Ошибки на обучающей и тестовой выборках, скорее всего, увеличатся.
• Модель станет менее сложной, что может привести к снижению переобучения, но обычно это негативно сказывается на точности.

Таким образом, удаление дерева из бустинга эквивалентно уменьшению мощности ансамбля. В некоторых случаях, например, при использовании методов обрезки (pruning) или регуляризации, удаление деревьев может помочь избежать переобучения, но просто так удалять дерево без переобучения модели не рекомендуется.

Если необходимо изменить количество деревьев, лучше переобучить модель с нужным числом итераций.