Kaip įvertinti nesuvaldytą modelį klausimų atsakymo užduočiai?

Vertinant nestruktūrizuotus modelius klausimų atsakymo užduočiai (Question Answering) yra sudėtinga užduotis, nes nėra aiškių teisingų atsakymų žymių. Galimi požiūriai:

• Klasifikacija ir semantinė panašumas:

  • Naudoti klausimų ir atsakymų įterpimus (pvz., su BERT modeliais).
  • Vertinti, kaip arti prasmiškai atsakymai yra klausimų.

• Koherencijos ir sujungimo metrikos:

  • Patikrinti, kaip logiškai atsakymai yra susiję su klausimais.
  • Kalbos modelius galima naudoti atsakymų tikrumo vertinimui.

• Naudojant išorines žinias ar taisykles:

  • Patikrinti faktinį atsakymų teisingumą naudodami žinių bazes.

• Žmogus-į- grandinę:

  • Dalinė vertinimas iš ekspertų, kuriant pavyzdžius.

• Automatinės proxy metrikos:

  • Modelio perplexity atsakymuose.
  • Atsakymų paskirstymo palyginimas su tikėtinu.

Apskritai, nestruktūrizuotame mokyme dažnai naudojamos netiesioginės kokybės metrikos ir semantinės priemonės, kurios derinamos su daline žymėjimu ar ekspertų vertinimu.