Что такое cross-encoder QA и каков формат входа?

Cross-encoder QA — это подход к задаче вопрос-ответ (Question Answering), где вопрос и контекст (текст, в котором ищется ответ) подаются вместе на вход модели, которая оценивает их совместимость и извлекает ответ.

В отличие от bi-encoder, где вопрос и контекст кодируются отдельно, cross-encoder объединяет их в один входной пример, что позволяет модели лучше учитывать взаимосвязь между вопросом и контекстом, но требует больше ресурсов.

Формат входа обычно следующий — объединение вопроса и контекста в одну последовательность с разделителем, например:

[CLS] Вопрос? [SEP] Контекст с возможным ответом. [SEP]

Модель (например, BERT) обрабатывает эту последовательность и на выходе может выдавать вероятность релевантности или позицию ответа в контексте.