Ako funguje boosting a ako sa stavia model boosting?

Boosting je metóda ansámblu, ktorá postupne vytvára silný model prostredníctvom tréningu série slabých modelov (zvyčajne rozhodovacích stromov). Každý nový model sa snaží opraviť chyby predchádzajúcich, zameriavajúc sa na nesprávne klasifikované objekty.

Ako funguje boosting:

1. Inicializuje sa základný model, ktorý robí prvé predpovede.
2. Vypočítajú sa chyby (reziduá) tohto modelu.
3. Nasledujúci model je trénovaný na týchto chybách, snažiac sa ich znížiť.
4. Proces sa opakuje niekoľkokrát a konečná predpoveď je získaná ako vážený súčet predpovedí všetkých modelov.

Príklad zjednodušeného pseudokódu boosting:

# pseudokód
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
konečná_predikcia = model_0.predict(data) + model_1.predict(data) + ...

Týmto spôsobom boosting postupne zlepšuje kvalitu modelu, znižujúc chybu pri každom kroku.