Kaip įvertinti retrieval kokybę RAG (recall@k, hit@k, MRR)?

RAG (Retrieval-Augmented Generation) kokybės įvertinimui naudojamos metrikos, kurios matuoja, kaip aktualūs yra dokumentai, kuriuos modelis grąžina iš žinių bazės:

• Recall@k — santykis tarp aktualių dokumentų, kurie patenka į geriausių k rezultatų sąrašą. Parodo paieškos išsamumą.

• Hit@k — dvejetainė metrika, kuri yra 1, jei bent vienas aktualus dokumentas yra geriausių k rezultatų sąraše, kitaip 0. Naudojama vertinant, kaip dažnai randamas aktualus dokumentas.

• MRR (Vidutinis atvirkštinis rangas) — pirmojo aktualaus dokumento atvirkštinio rango vidurkis sąraše. Kuo didesnis MRR, tuo arčiau pradžios yra aktualūs dokumentai.

Pavyzdys: jei aktualus dokumentas yra trečioje pozicijoje, atvirkštinis rangas = 1/3.

Šios metrikos padeda suprasti, kaip efektyviai RAG komponentas randa reikalingą informaciją generuojant atsakymus.