Какво е bias и варианс, и какво намалява в случаен лес?

В машинното обучение:

• Bias (пристрастие) — това е грешка, която възниква поради твърде прост модел, който не може добре да апроксимира истинската зависимост. Високото пристрастие води до недостатъчно обучение.
• Вариация — това е чувствителността на модела към промените в обучаващите данни. Високата вариация означава, че моделът се адаптира прекалено към шума в данните, което води до пренасищане.

Случайният лес е ансамбъл от решаващи дървета, построени върху случайни подмножества от данни и характеристики. Той намалява вариацията в сравнение с отделно дърво, тъй като усредняването на предсказанията намалява влиянието на случайните колебания в данните, докато при това bias остава приблизително на нивото на отделните дървета или леко се увеличава.

Пример:

from sklearn.ensemble import RandomForestClassifier

# Случайният лес намалява вариацията чрез усредняване
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)