Milyen ügynökkel kapcsolatos minőségi mutatókat követ a termelésben?

A gyártásban, a minőség értékeléséhez egy LLM-ügynök például általában a következő metrikákat figyelik:

• Pontosság (Accuracy) — hogy az ügynök válaszai mennyire felelnek meg a vártnak.
• Válaszidő (Latency) — a válasz generálásának sebessége.
• Hibaarány (Failure rate) — a hibák vagy helytelen válaszok gyakorisága.
• Felhasználói elégedettség mutatói (User satisfaction) — a felhasználók értékelései vagy visszajelzései.
• Újra kérdező arány (Re-query rate) — hogy hány alkalommal kérdezik újra a felhasználók a kérdést elégedetlen válasz miatt.
• Fedettség (Coverage) — hogy az ügynök mennyire fedi le a szükséges témákat vagy feladatokat.
• Erőforrás-használat — a számítási kapacitás terhelése.

A LLM-ügynökök esetében fontos továbbá figyelemmel kísérni:

• Válaszok diverzifikációja — hogy elkerüljük az egysíkúságot.
• Biztonság és etika — toxikus vagy nem kívánt tartalom hiánya.

Ezek a metrikák segítenek fenntartani a minőséget és javítani az ügynök működését a valós körülmények között.