Quel BERT a été utilisé pour le re-ranking?

Pour le réarrangement, on utilise souvent des modèles BERT adaptés à la tâche de classement, comme BERT-base ou BERT-large, pré-entraînés sur des tâches de comparaison de paires ou de classification de pertinence. En particulier, l'architecture Siamese BERT ou Cross-Encoder BERT est populaire, où le modèle prend une paire (requête, document) et donne une évaluation de la pertinence.

Exemple : pour le réarrangement des résultats de recherche, on obtient d'abord les top-N documents via un classement classique, puis on applique BERT Cross-Encoder, qui évalue plus précisément la correspondance entre la requête et le document, améliorant la qualité de la liste finale.

Il est important de noter que, pour améliorer la performance, on utilise souvent des versions allégées de BERT ou des modèles avec distillation, comme DistilBERT ou TinyBERT, pour accélérer le réarrangement sans perte de qualité significative.