Kā novērtēt retrieval kvalitāti RAG (recall@k, hit@k, MRR)?

RAG (Retrieval-Augmented Generation) kvalitātes novērtēšanai tiek izmantotas metriku, kas mēra, cik atbilstoši ir dokumenti, kurus modelis atgriež no zināšanu bāzes:

• Recall@k — daļa no atbilstošajiem dokumentiem, kas parādās labāko-k rezultātos. Parāda meklēšanas pilnīgumu.

• Hit@k — bināra metrika, kas ir 1, ja vismaz viens atbilstošs dokuments ir labāko-k rezultātos, citādi 0. Tiek izmantota, lai novērtētu, cik bieži tiek atrasts atbilstošs dokuments.

• MRR (Vidējais atpakaļejošais rangs) — pirmā atbilstošā dokumenta atpakaļejošā ranga vidējā vērtība sarakstā. Jo augstāks MRR, jo tuvāk sākumam ir atbilstošie dokumenti.

Piemērs: ja atbilstošais dokuments ir pozīcijā 3, tad atpakaļejošais rangs = 1/3.

Šīs metrikas palīdz saprast, cik efektīvi RAG komponenta atrod nepieciešamo informāciju, lai ģenerētu atbildes.