Kas rūpinosi diegimu į gamybą ir kokie buvo projekto sėkmės rodikliai?

Įdiegimas į gamybą paprastai atliekamas DevOps komandos arba išleidimo inžinierių, tačiau ML projektuose dažnai dalyvauja ir duomenų mokslininkai ar ML inžinieriai.

Projekto sėkmės rodikliai priklauso nuo tikslų, tačiau gali apimti:

• Modelio kokybė: tikslumas, pilnumas, F1 balas realiuose duomenyse.
• Paslaugos atsako laikas.
• Stabilumas ir patikimumas (uptime).
• Poveikis verslo rodikliams: konversijos augimas, sąnaudų mažinimas, naudotojo patirties gerinimas.
• Modelio drift'o stebėjimas ir laiku atnaujinimas.

Pavyzdžiui, rekomendacijų modelio diegimo metu sėkmė bus CTR augimas ir naudotojų išlaikymas, svarbu stebėti, kad modelis nepablogintų sistemos našumo.