Bias ve varyans nedir ve rastgele ormanda ne azalır?

Makine öğreniminde:

• Önyargı (Bias) — gerçek bağımlılığı iyi yaklaşık olarak modelleyemeyen çok basit bir modelden kaynaklanan hatadır. Yüksek önyargı, düşük öğrenmeye yol açar.
• Varyans — modelin eğitim verilerindeki değişikliklere karşı hassasiyetidir. Yüksek varyans, modelin verilerdeki gürültüye çok uyum sağlaması anlamına gelir ve bu da aşırı öğrenmeye neden olur.

Rastgele Orman, rastgele alt örnekler ve özellikler kullanılarak oluşturulan karar ağaçlarından oluşan bir topluluktur. Tek bir ağaca kıyasla varyansı azaltır, çünkü tahminlerin ortalaması, verilerdeki rastgele dalgalanmaların etkisini azaltır, önyargı ise yaklaşık olarak tek ağaç seviyesinde kalır veya hafifçe artar.

Örnek:

from sklearn.ensemble import RandomForestClassifier

# Rastgele Orman, ortalama alarak varyansı azaltır
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)