Как устроен случайный лес и как он обучается в задаче классификации?

Случайный лес (Random Forest) — это ансамблевый метод машинного обучения, который строит множество решающих деревьев и объединяет их результаты для повышения точности и устойчивости модели.

Устройство:

• Состоит из большого количества решающих деревьев.
• Каждое дерево обучается на случайной подвыборке исходных данных (метод bootstrap).
• При построении дерева на каждом узле выбирается случайный поднабор признаков для поиска лучшего разбиения.

Обучение в задаче классификации:

1. Из исходного набора данных случайным образом выбирается подмножество с возвращением (bootstrap sample).
2. Для каждого дерева строится решающее дерево на этой подвыборке.
3. При выборе разбиения в узлах дерева учитывается только случайный поднабор признаков, что снижает корреляцию между деревьями.
4. После построения всех деревьев для классификации нового объекта применяется голосование большинства: класс, выбранный большинством деревьев, становится итоговым прогнозом.

Такой подход уменьшает переобучение и повышает обобщающую способность модели.