Jak poznat, jestli je model dobrý nebo špatný? Jaké metriky existují a co znamenají?

Hodnocení kvality modelu závisí na úkolu (klasifikace, regrese atd.) a cílech. Hlavní metriky:

Pro klasifikační úkoly:

• Přesnost (Accuracy) — podíl správných předpovědí z celkového počtu. Dobré při vyvážených třídách.
• Preciznost (Precision) — podíl správně pozitivních předpovědí z všech předpovězených pozitiv.
• Recall (Citlivost) — podíl správně nalezených pozitiv z všech skutečných pozitiv.
• F1 skóre — harmonický průměr přesnosti a recallu, který je vyvažuje.
• ROC-AUC — plocha pod ROC křivkou, ukazuje kvalitu oddělení tříd.

Pro regresní úkoly:

• MSE (Střední čtvercová chyba) — citlivá na velké odchylky.
• MAE (Střední absolutní chyba) — odolnější vůči odlehlým hodnotám.
• R² (Koeficient determinace) — ukazuje, jakou část rozptylu model vysvětluje.

Dobrý model je ten, který ukazuje vysoké hodnoty metrik kvality (například vysoká přesnost a F1 pro klasifikaci, nízké chyby pro regresi) na testovacím vzorku, a nikoliv pouze na trénovacím (aby se předešlo přeučení). Je také důležité vzít v úvahu obchodní kontext a rovnováhu mezi metrikami (například někdy je důležitější citlivost než přesnost).