RAGда (ишенимдүүлүк, жооптун тиешелүүлүгү, контексттин тактыгы/recall) өндүрүшүнүн сапатынын метрикалары кандай?

RAG (Retrieval-Augmented Generation) системасында көбүнесе төмөнкү метрикалар колдонулат:

• Ишенимдүүлүк (чындыктык) — чыгарылган жооп контексттен алынган фактыларга канчалык ылайык келет. Чындыктык жана ойдон чыгарылганды жокко чыгаруу үчүн маанилүү.

• Жооптун тиешелүүлүгү — жооп берилген суроого канчалык тиешелүү, яғни ал толук жана маанилүү жооп береби.

• Контексттин тактыгы/recall — маалымат базасынан тиешелүү маалыматтарды чыгарып алуу сапатын баалоочу метрикалар:

  • Тактык (Precision) — чыгарылаган документтердин канчалык чын эле тиешелүү экендиги.
  • Recall — тиешелүү документтердин чыгарылагандыгы.

Бул метрикалар моделдин тышкы контекстти канчалык натыйжалуу колдонуп жатканын жана анын негизинде жоопторду канчалык туура түзө турганын түшүнүүгө жардам берет.