Ре-ранкер дар RAG чист? Кадом моделҳоро истифода мебаранд (cross-encoder, bge-reranker)?

Дар RAG (Retrieval-Augmented Generation) re-ranker — ин компонентест, ки дубора арзёбӣ ва ба тартиб даровардани ҳуҷҷатҳо ё қисмҳои гирифташуда аз базаи дониш мебошад, то онҳое, ки барои тавлиди ҷавоб муҳимтар мебошанд, интихоб шаванд.

Типҳои асосии моделҳои re-ranker:

• Cross-encoder: модел, ки як ҷуфт (пурсиш, ҳуҷҷат) мегирад ва онҳоро ҳамзамон коркард мекунад, дар ҳоле ки мувофиқати онҳоро ҳисоб мекунад. Ин усул дақиқтар аст, аммо аз ҷиҳати ҳисоббарорӣ гарон аст, зеро ҳар ҳуҷҷат бо дархост коркард мешавад.

• BGE-reranker (Bi-Encoder): моделҳое, ки савол ва ҳуҷҷатҳоро ҷудогона ба векторҳо код мекунанд ва сипас мувофиқати косинусиро ҳисоб мекунанд. Бештар суръат мебахшад, аммо метавонад камтар дақиқ бошад, нисбат ба cross-encoder.

Дар RAG, одатан аввал як bi-encoder суръатнок барои интихоби пешакӣ истифода мешавад, ва сипас як cross-encoder барои тартиби дақиқ. Re-ranker кӯмак мекунад, ки сифати интихоби ҳуҷҷатҳоро беҳтар кунад, ки ин ба беҳтар шудани тавлиди ҷавоб дар охир мусоидат мекунад.