Что хотят услышать интервьюеры:

В Random Forest обычно используют достаточно глубокие деревья, часто без сильного ограничения глубины. В бустинге, наоборот, чаще берут неглубокие деревья — обычно слабые базовые модели, чтобы последовательно исправлять ошибки предыдущих. Ключевая идея: случайный лес снижает дисперсию за счёт усреднения сильных деревьев, а бустинг снижает смещение за счёт ансамбля слабых моделей.

Определение:

Глубина дерева — это максимальное число разбиений от корня до листа.
В Random Forest деревья обычно растят глубже, потому что их много, и усреднение по ансамблю уменьшает переобучение отдельных деревьев.
В бустинге деревья обычно делают неглубокими, чтобы каждое дерево было простым и добавляло небольшую поправку к текущему предсказанию.

Пример использования:

Если нужно предсказать отток клиентов:

в Random Forest можно поставить деревья глубиной 15–30 или даже без явного ограничения, если данных достаточно;
в бустинге чаще выбирают depth 2–6, чтобы модель строилась постепенно и не переобучалась слишком быстро.

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier

rf = RandomForestClassifier(
    n_estimators=200,
    max_depth=None
)

gb = GradientBoostingClassifier(
    n_estimators=200,
    max_depth=3
)

Пояснение кода:

В примере для Random Forest глубина не ограничена явно, потому что отдельные деревья могут быть довольно сложными, а ансамбль сгладит их ошибки.
Для бустинга указана малая глубина max_depth=3, чтобы каждое дерево было слабым и добавляло небольшой вклад в итоговую модель.
На практике конкретную глубину подбирают по валидации: слишком глубокие деревья в бустинге быстро переобучаются, а слишком мелкие могут недообучаться.

Ключевые моменты:

В Random Forest деревья обычно делают глубокими, часто с минимальными ограничениями.
В бустинге деревья обычно мелкие: depth 2–6 — частый рабочий диапазон.
Random Forest опирается на усреднение и хорошо борется с дисперсией.
Бустинг строит модель последовательно и чувствителен к переобучению, поэтому слабые деревья предпочтительнее.
Точная глубина зависит от данных, шума и числа деревьев, поэтому её подбирают на валидации.
Универсального значения нет: важен баланс между качеством и переобучением.

Какая должна быть глубина деревьев в Random Forest и в бустинге?