Čo je cross-encoder QA a aký je formát vstupu?

Cross-encoder QA je prístup k úlohe otázka-odpoveď (Question Answering), kde je otázka a kontext (text, v ktorom sa hľadá odpoveď) predložený spolu ako vstup modelu, ktorý hodnotí ich kompatibilitu a extrahuje odpoveď.

Na rozdiel od bi-encoderu, kde sú otázka a kontext zakódované samostatne, cross-encoder ich spája do jedného vstupného príkladu, čo umožňuje modelu lepšie zohľadniť vzťah medzi otázkou a kontextom, ale vyžaduje viac zdrojov.

Vstupný formát je zvyčajne nasledovný: spojenie otázky a kontextu do jednej sekvencie so separatorom, napríklad:

[CLS] Otázka? [SEP] Kontext s možnou odpoveďou. [SEP]

Model (napríklad BERT) spracováva túto sekvenciu a môže poskytnúť pravdepodobnosť relevantnosti alebo pozíciu odpovede v kontexte.