Кай вақт аст, ки дар ҷустуҷӯ cross-encoder ва кай bi-encoder истифода шавад?

Cross-encoder ва bi-encoder — ин ду роҳи ҳисоб кардани аҳамиятнокии ҷуфти матнҳо (масалан, дархост ва ҳуҷҷат) дар вазифаҳои ҷустуҷӯ.

Cross-encoder ду матнро якҷоя мекунад ва онҳоро дар як вақт тавассути модел мегузаронад, ки имкон медиҳад, ки муошират байни калимаҳоро дар ҳар ду матн ба назар гирад. Ин одатан арзёбии дақиқтарро медиҳад, аммо барои ҳар ҷуфт алоҳида ҳисобҳо лозим аст, ки вақт ва захираҳоро зиёд мекунад.

Bi-encoder ҳар як матнро алоҳида ба векторе бо андозаи доимӣ код мекунад, ва пас аҳамиятнокиро, масалан, ҳамчун монандии косинус байни векторҳо, ҳисоб мекунад. Ин хеле тезтар аст, зеро ҳамаи ҳуҷҷатҳоро пешакӣ код кардан мумкин аст ва ба зудӣ бо дархост муқоиса кардан мумкин аст.

Вақте истифода бурдан:

• Cross-encoder барои вақте ки дақиқии максималӣ муҳим аст ва метавон ҳисобҳоро барои шумораи маҳдуди ҷуфтҳо (масалан, баҳо додан ба топ-N номзадҳо) анҷом дод.
• Bi-encoder барои ҷустуҷӯи масштабшаванда дар миқёси бузурги ҳуҷҷатҳо, ки дар он суръат муҳим аст ва дақиқӣ метавонад каме пасттар бошад.

Одатан, истифодаи як роҳи гибридӣ: аввал bi-encoder барои интихоб кардани номзадҳо бо суръати баланд, пас cross-encoder барои баҳо додани дақиқ.