Ce metrici de calitate ale agentului urmărești în producție?

În producție, pentru a evalua calitatea agentului (de exemplu, un agent LLM), se monitorizează de obicei următoarele metrici:

• Precizia (Accuracy) — cât de bine răspunsurile agentului corespund celor așteptate.
• Timpul de răspuns (Latency) — viteza de generare a răspunsului.
• Rata de eșec (Failure rate) — frecvența erorilor sau răspunsurilor incorecte.
• Indicatorii de satisfacție a utilizatorului (User satisfaction) — evaluări sau feedback de la utilizatori.
• Rata de re-întrebări (Re-query rate) — de câte ori utilizatorii pun aceeași întrebare din cauza unui răspuns nesatisfăcător.
• Acoperire (Coverage) — cât de bine acoperă agentul subiectele sau sarcinile necesare.
• Utilizarea resurselor — sarcina asupra capacităților de calcul.

Pentru agenții LLM, este, de asemenea, important să monitorizeze:

• Diversificarea răspunsurilor — pentru a evita monotonie.
• Siguranța și etica — absența conținutului toxic sau nedorit.

Aceste metrici ajută la menținerea calității și la îmbunătățirea funcționării agentului în condiții reale.