Czym jest cross-encoder QA i jaki jest format wejścia?

Cross-encoder QA to podejście do zadania pytanie-odpowiedź (Question Answering), w którym pytanie i kontekst (tekst, w którym szukana jest odpowiedź) są podawane razem na wejściu modelu, który ocenia ich zgodność i wyciąga odpowiedź.

W odróżnieniu od bi-encodera, gdzie pytanie i kontekst są kodowane osobno, cross-encoder łączy je w jeden przykład wejściowy, co pozwala modelowi lepiej uwzględniać związek między pytaniem a kontekstem, ale wymaga więcej zasobów.

Format wejścia zwykle wygląda następująco: połączenie pytania i kontekstu w jedną sekwencję z separatorem, na przykład:

[CLS] Pytanie? [SEP] Kontekst z możliwą odpowiedzią. [SEP]

Model (np. BERT) przetwarza tę sekwencję i może wyświetlić prawdopodobieństwo relewantności lub pozycję odpowiedzi w kontekście.