Cross-encoder nima va u bi-encoder dan qanday farq qiladi?

Cross-encoder va bi-encoder — bu kirish ma'lumotlar juftlarini qayta ishlash uchun arxitekturalar bo'lib, ular ko'pincha matnlarni qidirish va moslashtirish vazifalarida qo'llaniladi.

Bi-encoder:

• Juftlikning har bir elementi (masalan, so'rov va hujjat) alohida, belgilangan o'lchamdagi vektorga kodlanadi.
• Keyin, ikki vektor o'rtasida o'xshashlik o'lchovi (masalan, kosinus masofa) hisoblanadi.
• Vektorlar oldindan hisoblanib, saqlanishi mumkinligi uchun tez indekslash va qidirish imkonini beradi.
• Biroq, kodlash jarayonida juftlik elementlari o'rtasidagi o'zaro ta'sirni hisobga olmaydi.

Cross-encoder:

• Kirish ma'lumotlari birlashtiriladi va modelga birga yuboriladi.
• Model darhol elementlar o'rtasidagi o'zaro ta'sirlarni hisobga oladi (masalan, so'rov va hujjat so'zlari), bu relevansiya baholash sifatini oshiradi.
• Har bir juft uchun modelni qayta ishlash talab qilinadi, shuning uchun hisoblash xarajatliroq.

Natija: bi-encoder katta miqdordagi hujjatlar bo'yicha qidiruv uchun tezroq va kengaytiriladigan bo'lsa-da, cross-encoder aniqroq, ammo sekinroq va kichik sonli nomzodlarni qayta baholash uchun ishlatiladi.