Welche Qualitätsmetriken des Agents verfolgen Sie in der Produktion?

In der Produktion, um die Qualität des Agents (z.B. eines LLM-Agents) zu bewerten, werden in der Regel folgende Metriken überwacht:

• Genauigkeit (Accuracy) — wie gut die Antworten des Agents den erwarteten entsprechen.
• Antwortzeit (Latency) — Geschwindigkeit der Antwortgenerierung.
• Fehlerrate (Failure rate) — Häufigkeit von Fehlern oder inkorrekten Antworten.
• Benutzerzufriedenheitsindikatoren (User satisfaction) — Bewertungen oder Feedback der Nutzer.
• Wiederholungsrate (Re-query rate) — wie oft Nutzer die Frage erneut stellen, weil die Antwort unbefriedigend ist.
• Abdeckung (Coverage) — wie gut der Agent die notwendigen Themen oder Aufgaben abdeckt.
• Ressourcennutzung — Belastung der Rechenkapazitäten.

Für LLM-Agents ist es auch wichtig,:

• Antwortdiversifikation — um Monotonie zu vermeiden.
• Sicherheit und Ethik — keine toxischen oder unerwünschten Inhalte.

Diese Metriken helfen, die Qualität aufrechtzuerhalten und die Arbeit des Agents unter realen Bedingungen zu verbessern.