Welche Verlustfunktion wird beim Boosting für Klassifikation und Regression verwendet?

Beim Boosting für die Klassifikation wird häufig die logistische Verlustfunktion (log-loss) verwendet, die dem negativen Logarithmus der Wahrscheinlichkeit für die binäre Klassifikation entspricht. Sie eignet sich gut zur Bewertung probabilistischer Vorhersagen und zur Optimierung von Modellen.

Für Regressionen wird in der Regel die Verlustfunktion auf Basis des mittleren quadratischen Fehlers (MSE) oder des absoluten Fehlers (MAE) angewendet. Beim Gradienten-Boosting wird häufig der MSE als Verlustfunktion verwendet, da er differenzierbar ist und eine effiziente Berechnung der Gradienten zur Modellaktualisierung ermöglicht.

Beispiel:

• Klassifikation: logistische Verlustfunktion
• Regression: mittlerer quadratischer Fehler (MSE)