Kokias agentų kokybės metrikas stebite gamyboje?

Gamybos procese dažniausiai stebimos šios metrikos, vertinant agento (pavyzdžiui, LLM agento) kokybę:

• Tikslumas (Accuracy) — kaip gerai agento atsakymai atitinka tikėtinus.
• Atsakymo laikas (Latency) — atsakymo generavimo greitis.
• Klaidų dažnis (Failure rate) — klaidų ar neteisingų atsakymų dažnumas.
• Vartotojo pasitenkinimo rodikliai (User satisfaction) — įvertinimai ar atsiliepimai iš vartotojų.
• Pakartotinės užklausos dažnis (Re-query rate) — kiek kartų vartotojai pakartoja klausimą dėl nepatenkinamo atsakymo.
• Dengiamumas (Coverage) — kaip gerai agentas apima būtinus temas ar užduotis.
• Išteklių naudojimas — skaičiavimo galios apkrova.

Svarbu stebėti ir:

• Atsakymų įvairovė — siekiant išvengti monotonijos.
• Sauga ir etika — nėra toksiško ar nepageidaujamo turinio.

Šios metrikos padeda išlaikyti kokybę ir gerinti agento veikimą realiomis sąlygomis.