Kas nodarbojās ar ražošanas izvietošanu un kādas bija projekta veiksmes metriku?

Ieviešana ražošanā parasti tiek veikta DevOps komandā vai izlaišanas inženieru vadībā, bet ML projektos bieži piedalās arī datu zinātnieki vai ML inženieri.

Projekta veiksmes rādītāji ir atkarīgi no mērķiem, bet var ietvert:

• Modeļa kvalitāte: precizitāte, pilnība, F1 rādītājs uz reāliem datiem.
• Pakalpojuma reakcijas laiks.
• Stabilitāte un uzticamība (uptime).
• Ietekme uz biznesa rādītājiem: konversijas pieaugums, izmaksu samazināšana, lietotāja pieredzes uzlabošana.
• Modeļa drift monitoring un savlaicīga atjaunošana.

Piemēram, rekomendāciju modeļa ieviešanā veiksme būs CTR pieaugums un lietotāju noturēšana, ir svarīgi uzraudzīt, lai modelis nepasliktinātu sistēmas veiktspēju.