Boosting ve bagging karşılaştırıldığında, hangi modeller önyargıyı minimize eder ve hangileri varyansı?

Bagging ve boosting, farklı şekilde modelin önyargı (bias) ve varyansını (dağılımını) etkileyen topluluk yöntemleridir.

• Bagging (örneğin, rastgele orman) öncelikle varyansı azaltır. Veri altküme örnekleri üzerinde tekrar kullanarak çoklu modeller oluşturur ve tahminlerini ortalar, bu da aşırı uyumu ve dağılımı azaltır, ancak bias üzerinde çok etkili değildir.

• Boosting (örneğin, AdaBoost, Gradient Boosting) bias'ı azaltmaya yöneliktir. Sıralı olarak modeller eğitir, her biri önceki hataları düzeltir, bu da daha karmaşık modeller oluşturmayı ve sistematik hatayı azaltmayı sağlar, ancak aşırıya kaçılırsa varyansı artırabilir.

Özetle:

Yöntem	Bias'ı minimize eder	Varyansı minimize eder
Bagging	Orta derecede	Evet
Boosting	Evet	Artırabilir