Milliseid agendi kvaliteedi näitajaid jälgite tootmises?

Tootmises protsessis jälgitakse tavaliselt järgmisi mõõdikuid agendi (näiteks LLM-agendi) kvaliteedi hindamiseks:

• Täpsus (Accuracy) — kui hästi agenti vastused vastavad ootustele.
• Vastamise aeg (Latency) — vastuse genereerimise kiirus.
• Vigade määr (Failure rate) — vigade või ebatäpsete vastuste sagedus.
• Kasutajapõhised rahulolu näitajad (User satisfaction) — kasutajate hinnangud või tagasiside.
• Uuesti päringute määr (Re-query rate) — mitu korda kasutajad esitavad küsimuse uuesti, kuna vastus ei rahulda.
• Katvus (Coverage) — kui hästi agent katab vajalikud teemad või ülesanded.
• Resursside kasutus — arvutusvõimsuse koormus.

LLM-agentide puhul on samuti oluline jälgida:

• Vastuste mitmekesisus — et vältida ükslugeid vastuseid.
• Turvalisus ja eetika — toksilise või soovimatu sisu puudumine.

Need mõõdikud aitavad säilitada kvaliteeti ja parandada agendi tööd reaalses olukorras.