Какво е bagging и защо намалява вариансът на модела?

Bagging (Bootstrap Aggregating) е метод за ансамблиране на модели, при който се създават множество обучителни проби чрез bootstrap (случайно изтегляне с връщане от оригиналните данни). За всяка такава проба се обучава отделен модел, а крайната прогноза се получава чрез средно аритметично (за регресия) или гласуване (за класификация) на резултатите от всички модели.

Защо bagging намалява вариансът:

• Всеки модел се обучава на малко различни данни, така че грешките на моделите не са напълно корелирани.
• Средното аритметично на резултатите намалява влиянието на случайните грешки на отделните модели.
• В резултат ансамбълът става по-устойчив на преобучение и шум в данните.

По този начин, bagging намалява разпръсването (варианса) на модела, увеличавайки неговата стабилност и способност за обобщение.