Πώς καταλαβαίνεις αν ένα μοντέλο είναι καλό ή κακό; Ποιες μετρήσεις υπάρχουν και τι σημαίνουν;

Η αξιολόγηση της ποιότητας του μοντέλου εξαρτάται από την εργασία (κατηγοριοποίηση, παλινδρόμηση κ.λπ.) και τους στόχους. Οι βασικές μετρήσεις:

Για εργασίες κατηγοριοποίησης:

• Ακρίβεια (Accuracy) — ποσοστό σωστών προβλέψεων επί του συνόλου. Κατάλληλο για ισορροπημένες κλάσεις.
• Ακρίβεια (Precision) — ποσοστό πραγματικών θετικών μεταξύ όλων των προβλεπόμενων θετικών.
• Ανάκληση (Recall) — ποσοστό πραγματικών θετικών που εντοπίστηκαν.
• F1-score — αρμονική μέση όρος της ακρίβειας και της ανάκλησης, που τα ισορροπεί.
• ROC-AUC — περιοχή κάτω από την καμπύλη ROC, δείχνει την ποιότητα διαχωρισμού των κλάσεων.

Για εργασίες παλινδρόμησης:

• MSE (Μέσο τετραγωνικό σφάλμα) — ευαίσθητο σε μεγάλες αποκλίσεις.
• MAE (Μέσο απόλυτο σφάλμα) — πιο ανθεκτικό σε ακραίες τιμές.
• R² (Συντελεστής προσδιορισμού) — δείχνει ποιο ποσοστό της διακύμανσης εξηγείται από το μοντέλο.

Ένα καλό μοντέλο είναι αυτό που δείχνει υψηλές τιμές στις μετρήσεις ποιότητας (π.χ. υψηλή ακρίβεια και F1 για κατηγοριοποίηση, χαμηλά σφάλματα για παλινδρόμηση) σε ένα δείγμα δοκιμής, και όχι μόνο στο σύνολο εκπαίδευσης (για να αποφευχθεί η υπερεκπαίδευση). Είναι επίσης σημαντικό να λαμβάνεται υπόψη το επιχειρηματικό πλαίσιο και η ισορροπία μεταξύ των μετρήσεων (π.χ. μερικές φορές η ανάκληση είναι πιο σημαντική από την ακρίβεια).