Ako hodnotiť kvalitu retrieval v RAG (recall@k, hit@k, MRR)?

V RAG (Retrieval-Augmented Generation) sa kvalitou vyhľadávania sa hodnotí pomocou metrík, ktoré merajú, ako relevantné sú dokumenty vracané modelom z databázy znalostí:

• Recall@k — podiel relevantných dokumentov, ktoré sa objavia v top-k výsledkoch. Ukazuje úplnosť vyhľadávania.

• Hit@k — binárna metrika, ktorá je 1, ak je aspoň jeden relevantný dokument v top-k výsledkoch, inak 0. Používa sa na hodnotenie, ako často sa nájde relevantný dokument.

• MRR (Priemerný reciproký rad) — priemerná hodnota recipročného radu prvého relevantného dokumentu v zozname. Čím vyšší MRR, tým sú relevantné dokumenty bližšie k začiatku.

Príklad: ak je relevantný dokument na pozícii 3, potom recipročný rad = 1/3.

Tieto metriky pomáhajú pochopiť, ako efektívne komponent vyhľadávania v RAG nachádza potrebné informácie na generovanie odpovedí.