Kto zajmował się wdrożeniem na produkcję i jakie były metryki sukcesu projektu?

Wdrożenie na produkcję zazwyczaj wykonuje zespół DevOps lub inżynierowie ds. wydania, ale w projektach ML często uczestniczą również data scientist lub inżynierowie ML.

Metryki sukcesu projektu zależą od celów, ale mogą obejmować:

• Jakość modelu: dokładność, pełność, wynik F1 na rzeczywistych danych.
• Czas reakcji usługi.
• Stabilność i niezawodność działania (czas pracy).
• Wpływ na wskaźniki biznesowe: wzrost konwersji, obniżenie kosztów, poprawa doświadczenia użytkownika.
• Monitorowanie dryfu modelu i terminowa aktualizacja.

Na przykład, przy wdrożeniu modelu rekomendacji, sukcesem będzie wzrost CTR i retencji użytkowników, przy czym ważne jest monitorowanie, czy model nie pogarsza wydajności systemu.