QA-рои cross-encoder чист ва формати воридот чист?

Cross-encoder QA як подход ба задачаи савол-ҷавоб (Question Answering), ки дар он савол ва контекст (матн, ки дар он ҷавоб ҷустуҷӯ мешавад) дар якҷоягӣ ба модели пешниҳод мешаванд, ки мувофиқати онҳоро арзёбӣ мекунад ва ҷавобро мебарорад.

Барои фарқ кардан аз bi-encoder, ки дар он савол ва контекст ҷудогона код мешаванд, cross-encoder онҳоро дар як намунаи вурудӣ муттаҳид мекунад, ки ба модел имкон медиҳад, ки муносибати байни савол ва контекстро беҳтар ба назар гирад, аммо бештар захираҳоро талаб мекунад.

Формати вуруд одатан чунин аст: пайваст кардани савол ва контекст дар як пайдарпайӣ бо ҷудогаркунанда, масалан:

[CLS] Савол? [SEP] Контекст бо ҷавоби эҳтимолӣ. [SEP]

Модел (масалан, BERT) ин пайдарпайиро коркард мекунад ва метавонад эҳтимолияти дахлдориро ё ҷойгиршавии ҷавобро дар контекст пешниҳод кунад.