Ի՞նչ է re-ranker-ը RAG-ում: Որ մոդելներն են օգտագործում (cross-encoder, bge-reranker):

RAG (Retrieval-Augmented Generation) համակարգում re-ranker-ը բաղադրիչ է, որը վերաարժևորում և դասակարգում է գիտելիքների բազայից հանված փաստաթղթերը կամ հատվածները՝ ընտրելու առավել համապատասխանները պատասխան ստեղծելու համար:

Re-ranker մոդելների հիմնական տեսակները՝

• Cross-encoder՝ մոդել, որը ընդունում է (հարց, փաստաթուղթ) զույգը և միաժամանակ մշակելով, հաշվարկում է համապատասխանությունը։ Սա ավելի ճշգրիտ, բայց հաշվարկային առումով ավելի ծախսատար մոտեցում է, քանի որ յուրաքանչյուր փաստաթուղթ մշակվում է հարցի հետ միասին։

• BGE-reranker (Bi-Encoder)՝ մոդելներ, որոնք առանձին կոդավորում են հարցը և փաստաթղթերը վեկտորների մեջ, ապա հաշվում են կոսինուս նմանությունը։ Ավելի արագ, բայց կարող է լինել պակաս ճշգրիտ, քան cross-encoder։

RAG-ում հաճախ նախ օգտագործվում է արագ bi-encoder՝ նախնական ընտրության համար, իսկ հետո՝ ճշգրիտ դասակարգման համար՝ cross-encoder։ Re-ranker-ը օգնում է բարելավել փաստաթղթերի ընտրության որակը, ինչը բարելավում է վերջնական պատասխանների ստեղծումը։