Есть градиентный бустинг и случайный лес на 1000 деревьев. Что будет с качеством каждой модели, если удалить первое построенное дерево?

В случае случайного леса каждое дерево строится независимо, и итоговое предсказание — усреднение (регрессия) или голосование (классификация) по всем деревьям. Если удалить первое дерево, качество модели немного ухудшится, но незначительно, так как остальные 999 деревьев продолжают работать и компенсируют потерю.

В случае градиентного бустинга деревья строятся последовательно, каждое следующее дерево обучается на ошибках предыдущих. Первое дерево задаёт начальное приближение. Если удалить первое дерево, то вся последовательность нарушится, и качество модели сильно ухудшится, так как последующие деревья не смогут корректно компенсировать ошибку без начального приближения.

Итог:

• Случайный лес: небольшое снижение качества, модель остаётся работоспособной.
• Градиентный бустинг: значительное ухудшение качества, модель теряет смысл без первого дерева.