Axtarışda nə vaxt cross-encoder, nə vaxt bi-encoder istifadə etmək uyğundur?

Cross-encoder və bi-encoder, axtarış tapşırıqlarında mətn cütlüyünün uyğunluğunu hesablamaq üçün iki yanaşmadır.

Cross-encoder iki mətni birləşdirir və onları eyni zamanda modelə keçirir, bu da hər iki mətndəki sözlər arasında qarşılıqlı əlaqələri nəzərə almağa imkan verir. Bu adətən daha dəqiq uyğunluq qiymətləndirmələri verir, lakin hər cüt üçün ayrıca hesablamalar tələb edir, bu da vaxt və resurs baxımından bahalıdır.

Bi-encoder hər bir mətni müstəqil olaraq sabit ölçülü vektora kodlayır və sonra uyğunluğu, məsələn, vektorlar arasındakı kosinus oxşarlığı kimi hesablayır. Bu çox daha sürətlidir, çünki bütün sənədlər əvvəlcədən kodlana bilər və sorğu ilə sürətlə müqayisə oluna bilər.

Nə zaman istifadə etmək:

• Cross-encoder maksimum dəqiqlik vacibdirsə və məhdud sayda cüt üçün uyğunluğu hesablamaq mümkündürsə (məsələn, top-N namizədlərin sıralanması).
• Bi-encoder böyük sənəd sayında miqyaslana bilən axtarış üçün əlverişlidir, burada yüksək sürət tələb olunur və dəqiqlik bir az aşağı ola bilər.

Çox vaxt hibrid yanaşma istifadə olunur: əvvəlcə sürətli namizəd seçimi üçün bi-encoder, sonra dəqiq sıralama üçün cross-encoder.