Qual BERT foi utilizado para o re-ranking?

Para reordenar frequentemente usam-se modelos BERT adaptados à tarefa de classificação, como BERT-base ou BERT-large, previamente treinados em tarefas de comparação de pares ou classificação de relevância. Em particular, a arquitetura Siamese BERT ou Cross-Encoder BERT é popular, onde o modelo recebe um par (consulta, documento) e fornece uma avaliação de relevância.

Exemplo: para reordenar os resultados de pesquisa, primeiro obtêm-se os top-N documentos através de uma classificação clássica, e depois aplica-se o BERT Cross-Encoder, que avalia mais precisamente a correspondência entre a consulta e o documento, melhorando a qualidade da lista final.

É importante notar que, para melhorar o desempenho, muitas vezes utilizam versões leves do BERT ou modelos com destilação, como DistilBERT ou TinyBERT, para acelerar o reordenamento sem perda significativa de qualidade.