Hogyan lehet megérteni, hogy egy modell jó vagy rossz? Milyen metrikák léteznek, és mit jelentenek?

A modell minőségének értékelése a feladattól (osztályozás, regresszió stb.) és a céloktól függ. Főbb mérőszámok:

Osztályozási feladatokhoz:

• Pontosság (Accuracy) — a helyes előrejelzések aránya az összeshez képest. Jó kiegyensúlyozott osztályok esetén.
• Pontosság (Precision) — a helyesen pozitívnak ítélt példák aránya az összes pozitívnak ítélt között.
• Recall (Visszahívás) — a valódi pozitív példák aránya, amelyeket helyesen találtunk meg.
• F1-score — a pontosság és a recall harmonikus átlaga, amely kiegyensúlyozza mindkettőt.
• ROC-AUC — az ROC-görbe alatti terület, amely megmutatja az osztályok szétválasztásának minőségét.

Regressziós feladatokhoz:

• MSE (Átlagos négyzetes hiba) — érzékeny nagy eltérésekre.
• MAE (Átlagos abszolút hiba) — robusztusabb az extrém értékekkel szemben.
• R² (Magyarázó erősség) — megmutatja, hogy a modell mekkora részét magyarázza a varianciának.

Egy jó modell az, amelyik magas értékeket mutat a minőségi metrikákban (pl. magas pontosság és F1 osztályozásnál, alacsony hibák regressziónál) a tesztkészleten, és nem csak a tanulókészleten (azaz elkerülve a túlillesztést). Fontos figyelembe venni az üzleti kontextust és az egyensúlyt a metrikák között (pl. néha a recall fontosabb, mint a pontosság).