Šta je cross-encoder QA i koji je format ulaza?

Cross-encoder QA je pristup zadatku pitanja i odgovora (Question Answering), gde se pitanje i kontekst (tekst u kojem se traži odgovor) predstavljaju zajedno kao ulaz modelu, koji procenjuje njihovu kompatibilnost i izvlači odgovor.

Za razliku od bi-encoder-a, gde se pitanje i kontekst kodiraju odvojeno, cross-encoder ih kombinuje u jedan ulazni primer, što omogućava modelu da bolje uzme u obzir odnos između pitanja i konteksta, ali zahteva više resursa.

Format ulaza je obično sledeći: spajanje pitanja i konteksta u jednu sekvencu sa separatorom, na primer:

[CLS] Pitanje? [SEP] Kontekst sa mogućim odgovorom. [SEP]

Model (npr. BERT) obrađuje ovu sekvencu i može dati verovatnoću relevantnosti ili poziciju odgovora u kontekstu.