Wie erkennt man, ob ein Modell gut oder schlecht ist? Welche Metriken gibt es und was bedeuten sie?

Die Bewertung der Modellqualität hängt von der Aufgabe (Klassifikation, Regression usw.) und den Zielen ab. Die wichtigsten Metriken:

Für Klassifikationsaufgaben:

• Genauigkeit (Accuracy) — Anteil der korrekten Vorhersagen am Gesamtzahl. Gut bei ausgeglichenen Klassen.
• Präzision (Precision) — Anteil der richtig positiven Vorhersagen an allen vorhergesagten Positiven.
• Recall (Sensitivität) — Anteil der richtig gefundenen Positiven an allen tatsächlichen Positiven.
• F1-Score — harmonisches Mittel aus Präzision und Recall, das beide ausgleicht.
• ROC-AUC — Fläche unter der ROC-Kurve, zeigt die Trennqualität der Klassen.

Für Regressionsaufgaben:

• MSE (Mittlerer quadratischer Fehler) — empfindlich gegenüber großen Abweichungen.
• MAE (Mittlerer absoluter Fehler) — robuster gegenüber Ausreißern.
• R² (Bestimmtheitsmaß) — zeigt, welcher Anteil der Varianz durch das Modell erklärt wird.

Ein gutes Modell zeigt hohe Werte bei Qualitätsmetriken (z.B. hohe Genauigkeit und F1 für Klassifikation, niedrige Fehler für Regression) auf einem Testdatensatz und nicht nur auf dem Trainingsdatensatz (um Überanpassung zu vermeiden). Es ist auch wichtig, den Geschäftskontext und das Gleichgewicht zwischen den Metriken zu berücksichtigen (z.B. ist manchmal die Sensitivität wichtiger als die Präzision).