Które modele minimalizują bias, a które variance, porównując boosting i bagging?

Bagging i boosting to metody zespołowe, które różnie wpływają na bias (błąd systematyczny) i wariancję (rozrzut) modelu.

• Bagging (np. losowy las) głównie zmniejsza wariancję. Tworzy wiele modeli na różnych podzbiorach danych z losowym doborem i uśrednia ich prognozy, co zmniejsza nadmierne dopasowanie i rozrzut, ale nie wpływa znacząco na bias.

• Boosting (np. AdaBoost, Gradient Boosting) ma na celu zmniejszenie biasu. Uczy modele sekwencyjnie, każdy poprawia błędy poprzednich, co pozwala tworzyć bardziej złożone modele i zmniejszać błąd systematyczny, ale może zwiększyć wariancję, jeśli przesadzi się z tym.

Podsumowując:

Metoda	Minimalizuje bias	Minimalizuje wariancję
Bagging	Umiarkowanie	Tak
Boosting	Tak	Może zwiększać