Jak ocenić, czy model jest dobry czy zły? Jakie metryki istnieją i co one oznaczają?

Ocena jakości modelu zależy od zadania (klasyfikacja, regresja itp.) i celów. Główne metryki:

Dla zadań klasyfikacyjnych:

• Dokładność (Accuracy) — odsetek poprawnych przewidywań spośród wszystkich. Dobrze sprawdza się przy zrównoważonych klasach.
• Precyzja (Precision) — odsetek prawidłowych pozytywnych przewidywań spośród wszystkich przewidywanych pozytywnych.
• Czułość (Recall) — odsetek prawidłowo wykrytych pozytywnych spośród wszystkich rzeczywistych pozytywnych.
• F1-score — harmoniczna średnia precyzji i czułości, równoważy oba te wskaźniki.
• ROC-AUC — pole pod krzywą ROC, pokazuje jakość rozdzielenia klas.

Dla zadań regresyjnych:

• MSE (Średni błąd kwadratowy) — wrażliwy na duże odchylenia.
• MAE (Średni błąd bezwzględny) — bardziej odporny na wartości odstające.
• R² (Współczynnik determinacji) — pokazuje, ile części wariancji wyjaśnia model.

Dobry model to taki, który wykazuje wysokie wartości metryk jakości (np. wysoką dokładność i F1 dla klasyfikacji, niskie błędy dla regresji) na zbiorze testowym, a nie tylko na zbiorze treningowym (aby uniknąć nadmiernego dopasowania). Ważne jest również uwzględnienie kontekstu biznesowego i równowagi między metrykami (np. czasami ważniejsza jest czułość niż precyzja).