Как работает случайный лес и строятся деревья в ансамбле?

Случайный лес — это ансамблевый метод машинного обучения, который строит множество деревьев решений и объединяет их предсказания для повышения точности и устойчивости модели.

Как строятся деревья:

• Для каждого дерева случайным образом выбирается подвыборка объектов из обучающей выборки с возвращением (bootstrap).
• При построении каждого узла дерева выбирается случайный поднабор признаков (фич), из которых выбирается лучший признак для разделения.
• Дерево строится до заданной глубины или пока не достигнут критерии остановки (например, минимальное число объектов в листе).

Как работает ансамбль:

• Для классификации итоговое решение принимается большинством голосов деревьев.
• Для регрессии — усреднением предсказаний всех деревьев.

Такой подход снижает переобучение, так как деревья обучаются на разных подвыборках и используют разные признаки, что повышает обобщающую способность модели.