Кайда cross-encoder, кайда bi-encoder колдонуу ылайыктуу издөөдө?

Cross-encoder жана bi-encoder — бул эки ыкма тексттердин жуптуулугун эсептөө үчүн (мисалы, суроо жана документ) издөө тапшырмаларында.

Cross-encoder эки текстти бириктирип, аларды бир убакта модел аркылуу өткөрөт, бул эки тексттин сөздөрүнүн өз ара аракеттенүүлөрүн эске алууга мүмкүндүк берет. Бул көбүнчө тактыкты жогорулаткан баалоолорду берет, бирок ар бир жуп үчүн өзүнчө эсептөөлөр талап кылынат, бул убакыт жана ресурстарды көп талап кылат.

Bi-encoder ар бир текстти өзүнчө белгилүү өлчөмдөгү векторго коддойт, андан соң, мисалы, векторлор арасындагы косинус окшоштуулук катары релеванттуулук эсептелет. Бул абдан тез, анткени бардык документтер алдын ала коддолуп, тез салыштырылышы мүмкүн.

Кайсы учурда колдонуу:

• Cross-encoder эң жогорку тактык маанилүү болгондо жана чектелген жуптар үчүн релеванттуулук эсептөө мүмкүн болсо (мисалы, топ-N талапкерлерин ранжирлөө).
• Bi-encoder масштабдуу издөө үчүн ыңгайлуу, көп документтерде тез жана тактык аздап төмөндөй алат.

Көп учурда гибриддик ыкма колдонулат: биринчи тез тандоо үчүн bi-encoder, андан кийин так ранжирлөө үчүн cross-encoder.