Milyen veszteségfüggvényt használnak a boostingban osztályozáshoz és regresszióhoz?

A klasszifikációhoz használt boosting során gyakran alkalmazzák a log-loss-t, amely megfelel a bináris klasszifikációhoz tartozó valószínűség-negatív logaritmusnak. Ez jól alkalmas a valószínűségi előrejelzések értékelésére és a modellek optimalizálására.

A regresszió esetében általában az átlagos négyzetes hiba (MSE) vagy az átlagos abszolút hiba (MAE) alapú veszteségfüggvényt alkalmaznak. Gradient boosting esetén az MSE-t gyakran használják veszteségfüggvényként, mivel differenciálható és hatékonyan számíthatók a gradiens értékek a modell frissítéséhez.

Példa:

• Osztályozás: logisztikus veszteségfüggvény
• Regresszió: átlagos négyzetes hiba (MSE)