Кадом метрҳои сифати истеҳсол дар RAG (эътимоднокӣ, дахлнопазирии ҷавоб, дақиқӣ/recall-и контекст) ҳастанд?

Дар RAG (Retrieval-Augmented Generation) одатан барои арзёбии сифати истеҳсолот истифода мешаванд метрикҳои зерин:

• Вақоият (ҳақиқият) — ки андозае ҷавоби тавлидшуда ба воқеаҳое, ки аз матн гирифта шудаанд, мувофиқат мекунад. Барои арзёбии ҳақиқат ва набудани хаёлҳо муҳим аст.

• Маҳсулоти ҷавоб — ки андозае ҷавоб ба савол мувофиқ аст, яъне, ки оё он ба пуррагӣ ва дар асос ҷавоб медиҳад.

• Дақиқӣ/recall-и матн — метрикҳое, ки сифати баровардани маълумоти мувофиқро аз базаи донишҳо арзёбӣ мекунанд:

  • Дақиқӣ (Precision) — нисфи ҳуҷҷатҳое, ки бароварда шудаанд, воқеан мувофиқанд.
  • Recall — нисфи ҳуҷҷатҳое, ки мувофиқанд, бароварда шудаанд.

Ин метрикҳо кӯмак мекунанд, ки фаҳмем, модел чӣ гуна самаранок аз матни беруна истифода мебарад ва чӣ гуна ҷавобҳоро дуруст месозад.