RAG-də retrieval keyfiyyətini necə qiymətləndirmək olar (recall@k, hit@k, MRR)?

RAG (Retrieval-Augmented Generation) daxilində, retrieval keyfiyyəti, modelin bilik bazasından geri qaytardığı sənədlərin nə dərəcədə uyğun olduğunu ölçən metriklərlə qiymətləndirilir:

• Recall@k — ən yaxşı k nəticədə çıxan uyğun sənədlərin nisbəti. Axtarışın tamlığını göstərir.

• Hit@k — ikili metrikdir, ən azı bir uyğun sənədin ilk k nəticədə olub-olmamasına baxır, 1 isə var, 0 isə yox. Bu, uyğun sənədin nə qədər tez tapıldığını qiymətləndirmək üçün istifadə olunur.

• MRR (Orta Rəqəmsal Rəng) — siyahıdakı ilk uyğun sənədin tərs sırasının orta dəyəri. MRR nə qədər yüksək olarsa, uyğun sənədlər başlanğıca o qədər yaxın yerləşir.

Misal: əgər uyğun sənəd 3-cü mövqedədirsə, tərs sıra = 1/3.

Bu metriklər, RAG-in retrieval komponentinin, cavabların yaradılması üçün lazım olan məlumatı nə dərəcədə effektiv tapdığını anlamağa kömək edir.