Czym jest bagging i dlaczego zmniejsza wariancję modelu?

Bagging (Bootstrap Aggregating) to metoda zespołowego uczenia modeli, w której tworzy się wiele próbek treningowych za pomocą bootstrapu (losowego próbkowania z powrotem z danych źródłowych). Dla każdej takiej próbki trenowany jest osobny model, a końcowa prognoza jest uzyskiwana przez uśrednienie (dla regresji) lub głosowanie (dla klasyfikacji) wyników wszystkich modeli.

Dlaczego bagging zmniejsza wariancję:

• Każdy model jest trenowany na nieco innych danych, więc błędy modeli nie są w pełni skorelowane.
• Uśrednianie wyników zmniejsza wpływ losowych błędów poszczególnych modeli.
• W efekcie, ensemble staje się bardziej odporne na nadmierne dopasowanie i szum w danych.

W ten sposób, bagging zmniejsza rozrzut (wariancję) modelu, zwiększając jego stabilność i zdolność do generalizacji.