Hogyan működik a boosting, és hogyan épül fel egy boosting modell?

A boosting egy ensemble módszer, amely egy erős modellt épít fel azzal, hogy egymás után tanítja a gyenge modellek (általában döntési fák) sorozatát. Minden új modell megpróbálja kijavítani az előző hibáit, különösen a helytelenül osztályozott objektumokra összpontosítva.

Hogyan működik a boosting:

1. Egy alapmodellt inicializálunk, amely az első előrejelzéseket készíti.
2. Számításra kerülnek ennek a modellnek a hibái (maradványai).
3. A következő modellt ezekre a hibákra tanítjuk, megpróbálva csökkenteni azokat.
4. A folyamat többször ismétlődik, és a végső előrejelzés a modellek súlyozott összegéből származik.

Egyszerűsített pseudokód példa:

# pseudokód
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
végső_előrejelzés = model_0.predict(data) + model_1.predict(data) + ...

Így a boosting fokozatosan javítja a modell minőségét, minden lépésben csökkentve a hibát.