Mikor alkalmas a cross-encoder, és mikor a bi-encoder keresésben?

Cross-encoder és bi-encoder két megközelítés a szöveppár relevanciájának kiszámítására (például kérés és dokumentum) keresési feladatokban.

Cross-encoder két szöveget egyesít, és egy modellben futtatja őket egyszerre, lehetővé téve a két szöveg szavai közötti kölcsönhatások figyelembevételét. Ez általában pontosabb relevanciaértékeléseket ad, de minden párhoz külön számítás szükséges, ami idő- és erőforrás-igényes.

Bi-encoder minden szöveget külön-külön kódol egy fix méretű vektorrá, majd például a vektorok közötti koszinusz hasonlóságot számítja ki. Ez sokkal gyorsabb, mivel az összes dokumentumot előre kódolhatjuk, és gyorsan összehasonlíthatjuk a kérdéssel.

Mikor használjuk:

• Cross-encoder akkor ideális, ha a maximális pontosság fontos, és korlátozott számú pár relevanciáját lehet kiszámítani (például a top-N jelöltek rangsorolása).
• Bi-encoder nagy mennyiségű dokumentum esetén skálázható kereséshez alkalmas, ahol gyorsaságra van szükség, és a pontosság kissé alacsonyabb lehet.

Gyakran alkalmaznak hibrid megközelítést: először egy bi-encoderrel gyorsan kiválasztják a jelölteket, majd egy cross-encoderrel pontos rangsort készítenek.