Welke BERT werd gebruikt voor de re-ranking?

Voor herordening worden vaak BERT-modellen gebruikt die zijn aangepast aan de rangschikkingsopdracht, zoals BERT-base of BERT-large, vooraf getraind op taken zoals paren vergelijken of relevantieclassificatie. In het bijzonder zijn de architecturen Siamese BERT of Cross-Encoder BERT populair, waarbij het model een paar (zoekopdracht, document) ontvangt en een relevantiebewering afgeeft.

Voorbeeld: bij het herordenen van zoekresultaten worden eerst de top-N documenten verkregen via een klassieke rangschikking, waarna BERT Cross-Encoder wordt toegepast, dat de overeenstemming tussen zoekopdracht en document nauwkeuriger beoordeelt en zo de kwaliteit van de uiteindelijke lijst verbetert.

Het is belangrijk op te merken dat vaak lichtere versies van BERT of modellen met distillatie worden gebruikt, zoals DistilBERT of TinyBERT, om het herordenen te versnellen zonder significante kwaliteitsverlies.