Ako ugotoviti, ali je model dober ali slab? Katere metrike obstajajo in kaj pomenijo?

Hodnotenie kvality modelu závisí od úlohy (klasifikácia, regresia atď.) a cieľov. Hlavné metriky:

Pre úlohy klasifikácie:

• Presnosť (Accuracy) — podiel správnych predpovedí z celkového počtu. Vhodné pri vyvážených triedach.
• Precíznosť (Precision) — podiel správne predpovedaných pozitívnych z všetkých predpovedaných pozitívnych.
• Recall (Citlivosť) — podiel správne nájdených pozitívnych z všetkých skutočných pozitívnych.
• F1 skóre — harmonický priemer precíznosti a recallu, ktorý ich vyvažuje.
• ROC-AUC — plocha pod ROC krivkou, ukazuje kvalitu oddelenia tried.

Pre regresné úlohy:

• MSE (Stredná štvorcová chyba) — citlivá na veľké odchýlky.
• MAE (Stredná absolútna chyba) — odolnejšia voči výnimočným hodnotám.
• R² (Koeficient determinácie) — ukazuje, akú časť variácie vysvetľuje model.

Dobrý model je ten, ktorý ukazuje vysoké hodnoty metrík kvality (napríklad vysokú presnosť a F1 pre klasifikáciu, nízke chyby pre regresiu) na testovacom súbore, a nie len na tréningovom (aby sa predišlo preučeniu). Je tiež dôležité zohľadniť obchodný kontext a rovnováhu medzi metrikami (napríklad, niekedy je dôležitejšia citlivosť než presnosť).