Quali metriche di qualità dell'agente monitori in produzione?

In produzione, per valutare la qualità dell'agente (ad esempio, un agente LLM), vengono generalmente monitorate le seguenti metriche:

• Precisione (Accuracy) — quanto le risposte dell'agente corrispondono a quelle attese.
• Tempo di risposta (Latency) — velocità di generazione della risposta.
• Tasso di fallimento (Failure rate) — frequenza di errori o risposte errate.
• Indicatori di soddisfazione dell'utente (User satisfaction) — valutazioni o feedback degli utenti.
• Tasso di ripetizione della richiesta (Re-query rate) — quante volte gli utenti ripropongono la domanda a causa di una risposta insoddisfacente.
• Copertura (Coverage) — quanto bene l'agente copre i temi o i compiti necessari.
• Utilizzo delle risorse — carico sulle capacità computazionali.

Per gli agenti LLM, è anche importante monitorare:

• Diversificazione delle risposte — per evitare la monotonia.
• Sicurezza ed etica — assenza di contenuti tossici o indesiderati.

Queste metriche aiutano a mantenere la qualità e migliorare il funzionamento dell'agente in condizioni reali.