Quand utiliser un cross-encoder et quand un bi-encoder dans la recherche?

Cross-encoder et bi-encoder sont deux approches pour calculer la pertinence d'une paire de textes (par exemple, une requête et un document) dans les tâches de recherche.

Cross-encoder combine deux textes et les passe à travers un modèle en même temps, ce qui permet de prendre en compte les interactions entre les mots des deux textes. Cela donne généralement des évaluations de pertinence plus précises, mais nécessite des calculs pour chaque paire séparément, ce qui est coûteux en temps et en ressources.

Bi-encoder encode chaque texte séparément en un vecteur de taille fixe, puis la pertinence est calculée, par exemple, comme la similarité cosinus entre les vecteurs. C'est beaucoup plus rapide, car tous les documents peuvent être encodés à l'avance et comparés rapidement avec la requête.

Quand l'utiliser :

• Cross-encoder convient lorsque la précision maximale est importante et que l'on peut se permettre de calculer la pertinence pour un nombre limité de paires (par exemple, le classement des top-N candidats).
• Bi-encoder est pratique pour la recherche évolutive sur un grand nombre de documents, où une haute vitesse est nécessaire et la précision peut être légèrement inférieure.

On utilise souvent une approche hybride : d'abord un bi-encoder pour une sélection rapide de candidats, puis un cross-encoder pour un classement précis.