Kuras aģenta kvalitātes metriku jūs sekojat ražošanā?

Ražošanas procesā parasti seko šādām metriku, novērtējot aģenta (piemēram, LLM aģenta) kvalitāti:

• Precizitāte (Accuracy) — cik labi aģenta atbildes atbilst gaidītajām.
• Atbildes laiks (Latency) — atbildes ģenerēšanas ātrums.
• Neveiksmju līmenis (Failure rate) — kļūdu vai nepareizu atbilžu biežums.
• Lietotāja apmierinātības rādītāji (User satisfaction) — novērtējumi vai atsauksmes no lietotājiem.
• Atkārtotas vaicājuma līmenis (Re-query rate) — cik reižu lietotāji atkārtoti uzdod jautājumu, jo atbilde nav apmierinoša.
• Pārklājums (Coverage) — cik labi aģents aptver nepieciešamās tēmas vai uzdevumus.
• Resursu izmantošana — aprēķinu jaudas slodze.

Svarīgi arī uzraudzīt:

• Atbilžu dažādība — lai izvairītos no monotonijas.
• Drošība un ētika — nav toksiska vai nevēlama satura.

Šīs metrikas palīdz uzturēt kvalitāti un uzlabot aģenta darbību reālajos apstākļos.