Yenidən sıralama üçün hansı BERT istifadə olundu?

Yenidən sıralama üçün tez-tez BERT-base və ya BERT-large kimi, sıralama və ya relevanslıq dərəcəsini qiymətləndirmək üçün əvvəlcədən təlim keçmiş, cütlüklərin müqayisəsi və ya relevanslıq təsnifatı vəzifələrinə uyğunlaşdırılmış BERT modelləri istifadə olunur. Xüsusilə, Siamese BERT və ya Cross-Encoder BERT arxitekturaları məşhurdur; burada model (sorğu, sənəd) cütlüyünü qəbul edir və relevanslıq qiymətləndirir.

Nümunə: axtarış nəticələrini yenidən sıralamaq üçün əvvəlcə klassik sıralama ilə top-N sənədlər alınır, sonra isə BERT Cross-Encoder tətbiq edilir; bu, sorğu və sənəd arasındakı uyğunluğu daha dəqiq qiymətləndirir və yekun siyahının keyfiyyətini artırır.

Performansı artırmaq üçün, tez-tez yüngül versiyalar və ya distillasiya ilə hazırlanmış modellər, məsələn, DistilBERT və ya TinyBERT, istifadə olunur; bu, yenidən sıralamanı sürətləndirir və keyfiyyət itkisini azaldır.