Kā novērtēt neuzraudzītu modeli jautājumu atbildes uzdevumam?

Novērtējot nestrukturētus modeļus jautājumu atbildēšanas uzdevumam (Question Answering), tas ir sarežģīts uzdevums, jo nav skaidru marķējumu pareizajām atbildēm. Iespējamie pieejas:

• Klasterizācija un semantisks līdzīgums:

  • Izmantot jautājumu un atbilžu iekļaušanas (piemēram, ar BERT modeļiem).
  • Novērtēt, cik ļoti atbildes ir semantiski tuvas jautājumiem.

• Koherences un sasaistes metriki:

  • Pārbaudīt, cik loģiski atbildes ir saistītas ar jautājumiem.
  • Valodas modeļus var izmantot, lai novērtētu atbilžu ticamību.

• Izmantojot ārējas zināšanas vai noteikumus:

  • Pārbaudīt faktu pareizību ar zināšanu datu bāzēm.

• Human-in-the-loop:

  • Daļēja novērtēšana no ekspertiem, veidojot atsauces piemērus.

• Automātiskas proxy metriki:

  • Modeļa perplexity uz atbildēm.
  • Atbilžu sadalījuma salīdzinājums ar gaidāmo.

Kopumā, nestrukturētā mācībā bieži tiek izmantotas netiešas kvalitātes metriki un semantiskas mērvienības, kas tiek kombinētas ar daļēju marķēšanu vai ekspertu novērtējumu.