Co je to cross-encoder QA a jaký je formát vstupu?

Cross-encoder QA je přístup k úloze otázka-odpověď (Question Answering), kde je otázka a kontext (text, ve kterém se hledá odpověď) předložena společně jako vstup modelu, který hodnotí jejich kompatibilitu a extrahuje odpověď.

Na rozdíl od bi-encoderu, kde jsou otázka a kontext zakódovány samostatně, cross-encoder je spojuje do jednoho vstupního příkladu, což umožňuje modelu lépe zohlednit vztah mezi otázkou a kontextem, ale vyžaduje více zdrojů.

Vstupní formát je obvykle následující: spojení otázky a kontextu do jedné sekvence s oddělovačem, například:

[CLS] Otázka? [SEP] Kontext s možnou odpovědí. [SEP]

Model (například BERT) zpracovává tuto sekvenci a může poskytnout pravděpodobnost relevance nebo pozici odpovědi v kontextu.