Какво е re-ranker в RAG? Какви модели използват (cross-encoder, bge-reranker)?

В RAG (Retrieval-Augmented Generation) re-ranker е компонент, който преоценява и сортира документи или фрагменти, извлечени от базата знания, за да избере най-релевантните за генериране на отговор.

Основните типове модели re-ranker:

• Cross-encoder: модел, който приема двойка (въпрос, документ) и ги обработва едновременно, изчислявайки релевантността. Това е по-точен, но по-скъп подход, тъй като всеки документ се обработва заедно с заявката.

• BGE-reranker (Bi-Encoder): модели, които кодират въпроса и документите отделно във вектори, след което изчисляват косинусната сходство. По-бърз, но може да бъде по-малко точен от cross-encoder.

В RAG често първо се използва бърз bi-encoder за предварителен подбор, а след това cross-encoder за точно класиране. Re-ranker помага да се подобри качеството на избора на документи, което подобрява крайната генерация на отговора.