Čo je re-ranker v RAG? Aké modely používajú (cross-encoder, bge-reranker)?

V systéme RAG (Retrieval-Augmented Generation) je re-ranker komponent, ktorá prehodnocuje a zoradzuje dokumenty alebo fragmenty extrahované z databázy znalostí, aby vybral tie najrelevantnejšie pre generovanie odpovede.

Hlavné typy modelov re-ranker:

• Cross-encoder: model, ktorý prijíma pár (otázka, dokument) a spracováva ich súčasne, vypočítavajúc relevantnosť. Ide o presnejší, ale výpočtovo náročnejší prístup, pretože každý dokument je spracovávaný spolu s dopytom.

• BGE-reranker (Bi-Encoder): modely, ktoré kódujú otázku a dokumenty oddelene do vektorov, a následne počítajú kosínusovú podobnosť. Rýchlejšie, ale môže byť menej presný ako cross-encoder.

V systéme RAG sa často najskôr používa rýchly bi-encoder na predbežný výber, nasledovaný cross-encoderom pre presné zoradenie. Re-ranker pomáha zlepšiť kvalitu výberu dokumentov, čím zlepšuje konečnú generáciu odpovede.