İstehsalda agentin keyfiyyət göstəricilərini hansı şəkildə izləyirsiniz?

İstehsalda, agentin (məsələn, LLM agenti) keyfiyyətini qiymətləndirmək üçün adətən aşağıdakı metriklər izlənir:

• Dəqiqlik (Accuracy) — agentin cavablarının gözlənilənlərlə nə dərəcədə uyğun olması.
• Cavab vaxtı (Latency) — cavabın yaradılma sürəti.
• Xəta nisbəti (Failure rate) — səhvlər və ya düzgün olmayan cavabların tezliyi.
• İstifadəçi məmnuniyyəti göstəriciləri (User satisfaction) — istifadəçilərin qiymətləndirmələri və ya rəyləri.
• Yenidən sorğu nisbəti (Re-query rate) — istifadəçilərin narazı qaldığı üçün sualı neçə dəfə təkrar verdiyi.
• Əhatə dairəsi (Coverage) — agentin lazım olan mövzuları və ya tapşırıqları nə dərəcədə əhatə etməsi.
• Resursların istifadəsi — hesablama gücünə yük.

LLM agentləri üçün həmçinin izləmək vacibdir:

• Cavabların müxtəlifliyi — monotonluğu qarşısını almaq üçün.
• Təhlükəsizlik və etik — toksik və ya arzuolunmaz məzmunun olmaması.

Bu metriklər agentin keyfiyyətini qorumağa və real şəraitdə işini yaxşılaşdırmağa kömək edir.