Kuris BERT buvo naudojamas re-rankingui?

Dažnai naudojami BERT modeliai, pritaikyti reitingavimo užduočiai, pavyzdžiui, BERT-base arba BERT-large, iš anksto apmokyti porų palyginimo arba aktualumo klasifikavimo užduotims. Ypač populiarūs yra Siamese BERT arba Cross-Encoder BERT architektūros, kur modelis priima porą (užklausa, dokumentas) ir pateikia aktualumo įvertinimą.

Pavyzdys: paieškos rezultatų perrikiavimui pirmiausia gaunami top-N dokumentai naudojant klasikinius reitingus, tada taikomas BERT Cross-Encoder, kuris tiksliau įvertina užklausos ir dokumento atitikimą, gerindamas galutinio sąrašo kokybę.

Svarbu pažymėti, kad dažnai naudojamos lengvesnės BERT versijos arba su distiliacija sukurti modeliai, pavyzdžiui, DistilBERT arba TinyBERT, kurie pagreitina perrikiavimą be reikšmingo kokybės praradimo.