Qaysi BERT re-ranking uchun qo'llanildi?

Кўтариш учун кўпинча BERT-base ёки BERT-large каби, алоқа даражасини баҳолаш ёки парранинг вазифасига мослаштирилган, аввалдан парларни солиштириш ёки алоқа даражасини таснифлаш вазифаларида тайёрланган BERT моделлари қўлланилади. Хусусан, Siamese BERT ёки Cross-Encoder BERT архитектуралари машҳур бўлиб, уларда модел (сўров, ҳужжат) парини олади ва алоқа даражасини баҳолайди.

Масалан, излаш натижаларини қайта тартиблашда, аввал анъанавий рейтинглаш орқали топ-N ҳужжатлар олинади, кейин эса, BERT Cross-Encoder қўлланилади, у сўров ва ҳужжат ўртасидаги мосликни янада аниқ баҳолайди ва натижа рўйхатининг сифатини яхшилайди.

Ишлаш самарадорлигини ошириш учун, кўпинча, енгиллаштирилган версиялар ёки дистилляция билан тайёрланган моделлар, масалан, DistilBERT ёки TinyBERT, қўлланилади, бу эса қайта тартиблашни тезлаштиради ва сифатдан жуда катта йўқотишга олиб келмайди.