Wat gebeurt er als je bagging toepast op lineaire algoritmen?

Het toepassen van bagging (bootstrap aggregating) op lineaire algoritmen leidt meestal niet tot een significante prestatieverbetering. Dit komt doordat lineaire modellen over het algemeen een lage variantie en een hoge bias hebben. Bagging is effectief voor modellen met hoge variantie (bijvoorbeeld beslissingsbomen), omdat het de variabiliteit vermindert door middel van gemiddelde.

Bij het toepassen van bagging op lineaire modellen:

• Het gemiddelde van modellen getraind op verschillende submonsters vermindert de fout niet veel.
• Het kan de weerstand tegen ruis iets verhogen, maar de winst is meestal niet significant.

Daarom worden voor lineaire algoritmen vaak andere verbetermethoden gebruikt, zoals regularisatie of feature selectie, en wordt bagging toegepast op complexere, onstabiele modellen.