Kiedy w wyszukiwaniu odpowiedni jest cross-encoder, a kiedy bi-encoder?

Cross-encoder i bi-encoder to dwa podejścia do obliczania trafności par tekstów (np. zapytania i dokumentu) w zadaniach wyszukiwania.

Cross-encoder łączy dwa teksty i przeprowadza je przez model jednocześnie, co pozwala uwzględnić interakcje między słowami obu tekstów. Zazwyczaj daje to dokładniejsze oceny trafności, ale wymaga obliczeń dla każdej pary osobno, co jest kosztowne pod względem czasu i zasobów.

Bi-encoder koduje każdy tekst osobno w wektor o stałej wielkości, a następnie trafność oblicza się na przykład jako podobieństwo kosinusowe między wektorami. Jest to znacznie szybsze, ponieważ można wcześniej zakodować wszystkie dokumenty i szybko porównywać je z zapytaniem.

Kiedy używać:

• Cross-encoder nadaje się, gdy ważna jest maksymalna dokładność i można pozwolić sobie na obliczanie trafności dla ograniczonej liczby par (np. ranking top-N kandydatów).
• Bi-encoder jest wygodny do skalowalnego wyszukiwania w dużej liczbie dokumentów, gdzie potrzebna jest wysoka szybkość, a dokładność może być nieco niższa.

Często stosuje się podejście hybrydowe: najpierw bi-encoder do szybkiego wyboru kandydatów, a następnie cross-encoder do dokładnego rankingu.