Кои метрики за качество на агента следите в продукция?

В производството обикновено се следят следните метрики за оценка на качеството на агента (например, LLM агент):

• Точност (Accuracy) — колко добре отговорите на агента съответстват на очакваните.
• Време за реакция (Latency) — скоростта на генериране на отговора.
• Ниво на откази (Failure rate) — честотата на грешки или неправилни отговори.
• Показатели за удовлетвореност на потребителите (User satisfaction) — оценки или обратна връзка от потребителите.
• Процент на повторни заявки (Re-query rate) — колко пъти потребителите задават повторно въпроса поради незадоволителен отговор.
• Обхват (Coverage) — доколко агентът покрива необходимите теми или задачи.
• Използване на ресурси — натоварване върху изчислителните мощности.

За LLM агентите е важно също да следят:

• Диверсификация на отговорите — за да се избегне еднообразие.
• Сигурност и етика — липса на токсично или нежелано съдържание.

Тези метрики помагат за поддържане на качеството и за подобряване на работата на агента в реални условия.