Kura BERT tika izmantota re-rankingam?

Bieži izmanto BERT modeļus, kas ir pielāgoti rangu noteikšanas uzdevumam, piemēram, BERT-base vai BERT-large, iepriekš apmācītus pāru salīdzināšanas vai relevances klasifikācijas uzdevumiem. Īpaši populāras ir arhitektūras Siamese BERT vai Cross-Encoder BERT, kur modelis saņem pāri (vaicājums, dokuments) un sniedz relevances novērtējumu.

Piemērs: meklēšanas rezultātu pārkārtošanai vispirms iegūst top-N dokumentus ar klasisko rangēšanu, pēc tam tiek piemērots BERT Cross-Encoder, kas precīzāk novērtē vaicājuma un dokumenta atbilstību, uzlabojot galīgā saraksta kvalitāti.

Svarīgi atzīmēt, ka bieži tiek izmantotas vieglākas BERT versijas vai modeļi ar distilāciju, piemēram, DistilBERT vai TinyBERT, lai paātrinātu pārkārtošanu bez būtiska kvalitātes zuduma.