Kuidas hinnata RAG-is retrieval kvaliteeti (recall@k, hit@k, MRR)?

RAG (Retrieval-Augmented Generation) kvaliteeti hinnatakse metrikatega, mis mõõdavad, kui asjakohased on dokumendid, mida mudel tagastab teadmiste baasist:

• Recall@k — osa asjakohastest dokumentidest, mis ilmuvad parimate k tulemuste hulgas. Näitab otsingu täielikkust.

• Hit@k — binaarne metrika, mis on 1, kui vähemalt üks asjakohane dokument on parimate k tulemuse hulgas, ja 0 muidu. Kasutatakse selle hindamiseks, kui sageli leitakse asjakohane dokument.

• MRR (Keskmine vastupidine järjestus) — esimese asjakohase dokumendi vastupidise järjestuse keskmine väärtus. Mida kõrgem on MRR, seda lähemal algusele on asjakohased dokumendid.

Näide: kui asjakohane dokument asub positsioonil 3, siis vastupidine järjestus = 1/3.

Need metrikad aitavad mõista, kui tõhus on RAG-i otsingukomponent vajaliku teabe leidmisel.