Расскажите про RandomForest: как он устроен, чем отличается от обычного бэггинга деревьев.

RandomForest — это ансамблевый метод машинного обучения, который строит множество решающих деревьев и объединяет их предсказания для улучшения качества и устойчивости модели.

Основные особенности RandomForest:

• Каждое дерево обучается на случайной подвыборке исходных данных с возвращением (bagging).
• При построении каждого дерева на каждом узле выбирается случайный поднабор признаков, из которых выбирается лучший для разбиения.

Отличие от обычного бэггинга деревьев:

• В классическом бэггинге деревья строятся на случайных подвыборках данных, но при выборе признака для разбиения используется весь набор признаков.
• В RandomForest дополнительно вводится случайность при выборе признаков на каждом узле, что снижает корреляцию между деревьями и повышает обобщающую способность.

Пример на Python с использованием sklearn:

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100, max_features='sqrt')
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Здесь параметр max_features='sqrt' задаёт случайный поднабор признаков для каждого разбиения.