Ποιος ανέλαβε την ανάπτυξη σε παραγωγή και ποια ήταν τα μετρήσιμα κριτήρια επιτυχίας του έργου;

Η ανάπτυξη σε παραγωγή συνήθως γίνεται από την ομάδα DevOps ή τους μηχανικούς κυκλοφορίας, αλλά σε έργα ML συχνά συμμετέχουν και data scientists ή ML engineers.

Οι μετρήσεις επιτυχίας του έργου εξαρτώνται από τους στόχους, αλλά μπορεί να περιλαμβάνουν:

• Ποιότητα μοντέλου: ακρίβεια, πληρότητα, F1-score σε πραγματικά δεδομένα.
• Χρόνος απόκρισης υπηρεσίας.
• Σταθερότητα και αξιοπιστία λειτουργίας (uptime).
• Επιρροή στους επιχειρηματικούς δείκτες: αύξηση μετατροπής, μείωση κόστους, βελτίωση εμπειρίας χρήστη.
• Παρακολούθηση του drift του μοντέλου και έγκαιρη ενημέρωση.

Για παράδειγμα, κατά την κυκλοφορία ενός μοντέλου συστάσεων, η επιτυχία θα είναι η αύξηση του CTR και της διατήρησης χρηστών, ενώ είναι σημαντικό να παρακολουθείται ότι το μοντέλο δεν επιδεινώνει την απόδοση του συστήματος.