Кой се занимаваше с внедряването в продукция и какви бяха метриките за успех на проекта?

Обикновено внедряването в продукция се извършва от екипа DevOps или инженерите по издаването, но в ML проектите често участват и дата-сайентисти или ML инженери.

Метриките за успех на проекта зависят от целите, но могат да включват:

• Качество на модела: точност, пълнота, F1-скор на реални данни.
• Време за реакция на услугата.
• Стабилност и надеждност на работата (uptime).
• Влияние върху бизнес показателите: увеличение на конверсията, намаляване на разходите, подобряване на потребителския опит.
• Мониторинг на drift на модела и своевременно обновяване.

Например, при внедряване на модел за препоръки, успехът ще бъде увеличение на CTR и задържане на потребителите, като е важно да се следи моделът да не влошава производителността на системата.