Wat is cross-encoder QA en wat is het invoerformaat?

Cross-encoder QA is een aanpak voor de vraag-antwoord taak (Question Answering), waarbij de vraag en de context (de tekst waarin het antwoord wordt gezocht) samen aan het model worden gepresenteerd, dat hun compatibiliteit beoordeelt en het antwoord extraheert.

In tegenstelling tot bi-encoder, waarbij vraag en context afzonderlijk worden gecodeerd, combineert cross-encoder ze in één invoervoorbeeld, waardoor het model de relatie tussen vraag en context beter kan overwegen, maar meer bronnen vereist.

Het invoerformaat is meestal als volgt: het samenvoegen van vraag en context in één sequentie met een scheidingsteken, bijvoorbeeld:

[CLS] Vraag? [SEP] Context met mogelijke antwoord. [SEP]

Het model (bijvoorbeeld BERT) verwerkt deze sequentie en kan een relevantie waarschijnlijkheid of de positie van het antwoord in de context geven.