Kas yra cross-encoder QA ir koks yra įvesties formatas?

Cross-encoder QA yra požiūris į klausimo-atsakymo užduotį (Question Answering), kur klausimas ir konteksts (teksts, kurioje ieškoma atsakymo) pateikiami kartu į modelio įėjimą, kuris įvertina jų suderinamumą ir ištraukia atsakymą.

Skirtingai nuo bi-encoder, kur klausimas ir konteksts yra koduojami atskirai, cross-encoder sujungia juos į vieną įėjimo pavyzdį, leidžiantį modeliui geriau atsižvelgti į santykį tarp klausimo ir konteksto, tačiau reikalauja daugiau išteklių.

Įėjimo formatas dažniausiai yra toks: klausimo ir konteksto sujungimas į vieną seką su skyrikliu, pavyzdžiui:

[CLS] Klausimas? [SEP] Kontekstas su galimu atsakymu. [SEP]

Modelis (pavyzdžiui, BERT) apdoroja šią seką ir gali pateikti reikšmingumo tikimybę arba atsakymo poziciją kontekste.