Что такое bias и variance, и что уменьшается в случайном лесе?

В машинном обучении:

• Bias (смещение) — это ошибка, возникающая из-за слишком простой модели, которая не способна хорошо аппроксимировать истинную зависимость. Высокое смещение приводит к недообучению.
• Variance (дисперсия) — это чувствительность модели к изменениям в обучающих данных. Высокая дисперсия означает, что модель слишком подстраивается под шум в данных, что ведёт к переобучению.

Случайный лес — это ансамбль решающих деревьев, построенных на случайных подвыборках данных и признаков. Он снижает variance по сравнению с одиночным деревом, так как усреднение предсказаний уменьшает влияние случайных колебаний в данных, при этом bias остаётся примерно на уровне отдельных деревьев или немного увеличивается.

Пример:

from sklearn.ensemble import RandomForestClassifier

# Случайный лес уменьшает variance за счёт усреднения
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)