Kako oceniti kvalitet retrieval-a u RAG (recall@k, hit@k, MRR)?

У RAG (Retrieval-Augmented Generation), квалитетот на пребарувањето се оценува со метрики кои мереат колку релевантни документи се враќаат од моделот од базата на знаење:

• Recall@k — делот на релевантните документи што се појавуваат во топ-k резултатите. Ги покажува целосноста на пребарувањето.

• Hit@k — бинарна метрика која е 1 ако барем еден релевантен документ е во топ-k, инаку 0. Се користи за оценка колку често се наоѓа релевантен документ.

• MRR (Среден обратен ранг) — просечната вредност на обратниот ранг на првиот релевантен документ во листата. Колку е повисок MRR, толку се поблиску до почетокот се релевантните документи.

Пример: ако релевантен документ е на позиција 3, тогаш обратниот ранг = 1/3.

Овие метрики помагаат да се разбере колку е ефикасен компонентот за пребарување во RAG при наоѓањето на потребните информации за генерирање одговори.