Koje metrike kvaliteta agenta pratite u produkciji?

U proizvodnji se obično prate sledeće metrike za ocenu kvaliteta agenta (na primer, LLM agenta):

• Tačnost (Accuracy) — koliko odgovori agenta odgovaraju očekivanim.
• Vreme odziva (Latency) — brzina generisanja odgovora.
• Stopa neuspeha (Failure rate) — učestalost grešaka ili netačnih odgovora.
• Indikatori zadovoljstva korisnika (User satisfaction) — ocene ili povratne informacije korisnika.
• Stopa ponovnih upita (Re-query rate) — koliko puta korisnici ponovo postavljaju pitanje zbog nezadovoljavajućeg odgovora.
• Pokriće (Coverage) — koliko dobro agent pokriva potrebne teme ili zadatke.
• Korišćenje resursa — opterećenje na računarske kapacitete.

Za LLM agente je takođe važno pratiti:

• Diverzifikaciju odgovora — da bi se izbegla monotonija.
• Bezbednost i etika — odsustvo toksičnog ili neželjenog sadržaja.

Ove metrike pomažu u održavanju kvaliteta i poboljšanju rada agenta u realnim uslovima.