Mis on cross-encoder QA ja mis on sisendi formaat?

Cross-encoder QA on lähenemine küsimus-vasta (Question Answering) ülesandele, kus küsimus ja kontekst (tekst, kus otsitakse vastust) esitatakse koos sisendina mudelile, mis hindab nende sobivust ja väljastab vastuse.

Erinevalt bi-encoderist, kus küsimus ja kontekst kodeeritakse eraldi, ühendab cross-encoder need ühe sisendnäidisega, mis võimaldab mudelil paremini arvestada küsimuse ja konteksti vahelist seost, kuid nõuab rohkem ressursse.

Sisendvorming on tavaliselt järgmine: küsimuse ja konteksti ühendamine üheks järjestuseks eraldajaga, näiteks:

[CLS] Küsimus? [SEP] Kontekst võimaliku vastusega. [SEP]

Mudeli (näiteks BERT) töötleb seda järjestust ja võib anda relevantsuse tõenäosuse või vastuse positsiooni kontekstis.