Как да оценим качеството на retrieval в RAG (recall@k, hit@k, MRR)?

В RAG (Retrieval-Augmented Generation) качеството на извличане се оценява с метрики, които измерват колко релевантни документи се връщат от модела от базата знания:

• Recall@k — делът на релевантните документи, които се появяват в топ-k резултатите. Показва пълнотата на търсенето.

• Hit@k — бинарна метрика, която е 1, ако поне един релевантен документ е в топ-k, иначе 0. Използва се за оценка колко често се намира релевантен документ.

• MRR (Среден обратен ранг) — средната стойност на обратния ранг на първия релевантен документ в списъка. Колкото по-висок е MRR, толкова по-близо са релевантните документи до началото.

Пример: ако релевантен документ е на позиция 3, тогава обратният ранг = 1/3.

Тези метрики помагат да се разбере колко ефективен е компонентът за извличане в RAG при намирането на необходимата информация за генериране на отговори.