Какие модели берём в качестве базовых в bagging? Какая глубина у деревьев?

В методе bagging (bootstrap aggregating) в качестве базовых моделей обычно берут слабые обучаемые алгоритмы, чаще всего — решающие деревья. Это связано с тем, что деревья хорошо подходят для построения ансамблей, так как они склонны к переобучению, а bagging помогает снизить дисперсию.

Что касается глубины деревьев, то в классическом bagging (например, в Random Forest) обычно используют неглубокие деревья с ограниченной глубиной, чтобы избежать переобучения, либо полностью развернутые деревья (без ограничения глубины) для максимальной вариативности. В Random Forest часто используют полностью развернутые деревья (без ограничения глубины), так как случайный отбор признаков и бутстрэп-выборка уже обеспечивают регуляризацию.

Итого:

• Базовые модели: решающие деревья
• Глубина деревьев: часто без ограничения (полностью развернутые), но может быть ограничена для контроля переобучения в зависимости от задачи и данных.