Aké metriky kvality agenta sledujete v produkcii?

V produkcii sa zvyčajne sledujú nasledujúce metriky na hodnotenie kvality agenta (napríklad LLM agenta):

• Presnosť (Accuracy) — ako dobre odpovede agenta zodpovedajú očakávaným.
• Dĺžka odozvy (Latency) — rýchlosť generovania odpovede.
• Miera zlyhaní (Failure rate) — frekvencia chýb alebo nesprávnych odpovedí.
• Ukazovatele spokojnosti používateľov (User satisfaction) — hodnotenia alebo spätná väzba od používateľov.
• Miera opakovaných otázok (Re-query rate) — koľkokrát používateľia kladú otázku znova kvôli nespokojnej odpovedi.
• Pokrytie (Coverage) — ako dobre agent pokrýva potrebné témy alebo úlohy.
• Využitie zdrojov — zaťaženie na výpočtové kapacity.

Pre LLM agentov je tiež dôležité sledovať:

• Diverzifikáciu odpovedí — aby sa predišlo monotónnosti.
• Bezpečnosť a etika — absencia toxického alebo neželaného obsahu.

Tieto metriky pomáhajú udržiavať kvalitu a zlepšovať výkon agenta v reálnych podmienkach.