Kas ir cross-encoder QA un kāds ir ievades formāts?

Cross-encoder QA ir pieeja jautājumu-atbildes uzdevumam (Question Answering), kur jautājums un konteksts (teksts, kurā meklē atbildi) tiek kopā nodoti modelim, kas novērtē to saderību un izvelk atbildi.

Atšķirībā no bi-encoder, kur jautājums un konteksts tiek kodēti atsevišķi, cross-encoder tos apvieno vienā ievades piemēram, kas ļauj modelim labāk ņemt vērā jautājuma un konteksta attiecības, bet prasa vairāk resursu.

Ievades formāts parasti ir šāds: jautājuma un konteksta apvienojums vienā secībā ar atdalītāju, piemēram:

[CLS] Jautājums? [SEP] Konteksts ar iespējamu atbildi. [SEP]

Modelis (piemēram, BERT) apstrādā šo secību un var sniegt relevances varbūtību vai atbildes pozīciju kontekstā.