Millist BERT-i kasutati re-rankinguks?

Tihti kasutatakse uuesti järjestamiseks BERT-mudeleid, mis on kohandatud järjestusülesande jaoks, näiteks BERT-base või BERT-large, mis on eelnevalt treenitud paaride võrdlemise või relevantsuse klassifitseerimise ülesannetele. Eriti populaarsed on arhitektuurid Siamese BERT või Cross-Encoder BERT, kus mudel võtab vastu paari (päring, dokument) ja annab relevantsuse hinnangu.

Näide: otsingutulemuste uuesti järjestamiseks saadakse kõigepealt top-N dokumendid klassikalise järjestamise abil, seejärel rakendatakse BERT Cross-Encoderit, mis hindab täpsemalt päringu ja dokumendi vastavust ning parandab lõpliku nimekirja kvaliteeti.

Oluline on märkida, et sageli kasutatakse kergemaid BERT-versioone või distillatsiooniga mudeleid, näiteks DistilBERT või TinyBERT, mis kiirendavad uuesti järjestamist ilma märkimisväärse kvaliteedi kaota.