Wie heeft de deployment in productie gedaan en wat waren de succesmetingen van het project?

De uitrol naar productie wordt meestal gedaan door het DevOps-team of release-engineers, maar in ML-projecten nemen vaak ook data scientists of ML-engineers deel.

De succesmetriek van het project hangen af van de doelen, maar kunnen onder andere omvatten:

• Modelkwaliteit: nauwkeurigheid, volledigheid, F1-score op echte gegevens.
• Reactietijd van de service.
• Stabiliteit en betrouwbaarheid van de werking (uptime).
• Impact op bedrijfsindicatoren: groei van conversie, kostenreductie, verbetering van de gebruikerservaring.
• Monitoring van model drift en tijdige updates.

Bijvoorbeeld, bij het uitrollen van een aanbevelingsmodel, zal succes een toename in CTR en gebruikersretentie zijn, waarbij het belangrijk is om te controleren dat het model de systeemprestaties niet verslechtert.