Koji modeli minimiziraju bias, a koji varijansu, poredeći boosting i bagging?

Bagging i boosting su metode ansambla koje različito utiču na bias (sistemski grešku) i varijansu (rasipanje) modela.

• Bagging (npr. slučajni šuma) uglavnom smanjuje varijansu. On gradi više modela na različitim podskupovima podataka sa vraćanjem i uzima njihovu prosečnu prognozu, čime smanjuje prekomerno prilagođavanje i rasipanje, ali ne utiče mnogo na bias.

• Boosting (npr. AdaBoost, Gradient Boosting) je usmeren na smanjenje bias-a. Sekvencijalno trenira modele, od kojih svaki ispravlja greške prethodnih, što omogućava kreiranje složenijih modela i smanjenje sistemske greške, ali može povećati varijansu ako se pretera.

Ukratko:

Metod	Minimizira bias	Minimizira varijansu
Bagging	Umereno	Da
Boosting	Da	Može povećavati