Welke kwaliteitsmetingen van de agent volg je in productie?

In productie, om de kwaliteit van de agent (bijvoorbeeld een LLM-agent) te beoordelen, worden doorgaans de volgende metrics gemonitord:

• Nauwkeurigheid (Accuracy) — hoe goed de antwoorden van de agent overeenkomen met de verwachte antwoorden.
• Reactietijd (Latency) — snelheid van het genereren van antwoorden.
• Faalpercentage (Failure rate) — frequentie van fouten of onjuiste antwoorden.
• Gebruikers tevredenheid (User satisfaction) — beoordelingen of feedback van gebruikers.
• Herhaalvraagpercentage (Re-query rate) — hoeveel keer gebruikers dezelfde vraag opnieuw stellen vanwege een onbevredigend antwoord.
• Coverage — in hoeverre de agent de benodigde onderwerpen of taken behandelt.
• Resourcegebruik — belasting op de rekenkracht.

Voor LLM-agents is het ook belangrijk om te monitoren:

• Diversificatie van antwoorden — om eentonigheid te voorkomen.
• Veiligheid en ethiek — afwezigheid van toxische of ongewenste inhoud.

Deze metrics helpen de kwaliteit te behouden en de werking van de agent in echte omstandigheden te verbeteren.