Jak funguje boosting a jak se staví model boosting?

Boosting je metoda ansámblu, která vytváří silný model postupným tréninkem série slabých modelů (obvykle rozhodovacích stromů). Každý nový model se snaží opravit chyby předchozích, zaměřením na objekty, které byly nesprávně klasifikovány.

Jak funguje boosting:

1. Inicializuje se základní model, který provádí první předpovědi.
2. Vypočítají se chyby (rezidua) tohoto modelu.
3. Následující model je trénován na těchto chybách, snaží se je snížit.
4. Proces se opakuje několikrát a konečná předpověď je získána jako vážený součet předpovědí všech modelů.

Příklad zjednodušeného pseudokódu boosting:

# pseudokód
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
konečná_predikce = model_0.predict(data) + model_1.predict(data) + ...

Tímto způsobem boosting postupně zlepšuje kvalitu modelu, snižováním chyby při každém kroku.