Cum funcționează boosting-ul și cum se construiește un model de boosting?

Boosting este o metodă de ansamblu care construiește un model puternic prin antrenarea secvențială a unei serii de modele slabe (de obicei arbori de decizie). Fiecare nou model încearcă să corecteze erorile modelelor anterioare, concentrându-se pe obiectele care au fost clasificate greșit.

Cum funcționează boosting-ul:

1. Se inițializează un model de bază care face primele predicții.
2. Se calculează erorile (reziduurile) acestui model.
3. Următorul model este antrenat pe aceste erori, încercând să le reducă.
4. Procesul se repetă de mai multe ori, iar predicția finală este obținută ca o sumă ponderată a predicțiilor tuturor modelelor.

Exemplu de pseudocod simplificat pentru boosting:

# pseudocod
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
predicție_finală = model_0.predict(data) + model_1.predict(data) + ...

Astfel, boosting-ul îmbunătățește progresiv calitatea modelului, reducând eroarea la fiecare pas.