RAGда retrieval сапасын кантип баңалуу (recall@k, hit@k, MRR)?

RAG (Retrieval-Augmented Generation) ичинде, retrieval сапаты моделдин билим базасынан кайтарган документтердин канчалык тиешелүү экенин өлчөөчү метрикалар менен бааланат:

• Recall@k — эң жакшы k натыйжада пайда болгон тиешелүү документтердин пайызы. Издөө толуктугун көрсөтөт.

• Hit@k — бинардык метрика, эгер эң жакшы k натыйжада кеминде бир тиешелүү документ болсо, 1, башкача айтканда 0. Тиешелүү документти канчалык көп табаарын баалоо үчүн колдонулат.

• MRR (Орто кайтарылган ранг) — тизмедеги биринчи тиешелүү документтин кайтарылган рангинин орточо мааниси. MRR жогору болсо, тиешелүү документтер башында жакын жайгашкан.

Мисал: эгер тиешелүү документ 3-орунда болсо, анда кайтарылган ранг = 1/3.

Бул метрикалар RAGтин издөө компонентинин жоопту түзүү үчүн зарыл маалыматты канчалык натыйжалуу табаарын түшүнүүгө жардам берет.