Kuidas hinnata mittejuhitud mudelit küsimustele vastamise ülesande jaoks?

Küsimustele vastamise (Question Answering) ülesande jaoks mittejuhendatud mudelite hindamine on keeruline ülesanne, kuna selgete õige vastuste märgendid puuduvad. Võimalikud lähenemisviisid:

• Klastrite loomine ja semantiline sarnasus:

  • Kasutades küsimuste ja vastuste embedde (näiteks BERT-mudelitega).
  • Hinnata, kui lähedased semantiliselt on vastused küsimustele.

• Koherentsuse ja sidususe metrikad:

  • Kontrollida, kui loogiliselt on vastused seotud küsimustega.
  • Keelemodelle saab kasutada vastuste usaldusväärsuse hindamiseks.

• Väliste teadmiste või reeglite kasutamine:

  • Kontrollida faktuaalset õigsust teadmistebaaside abil.

• Inimese rolli kaasamine:

  • Osaline hindamine ekspertide poolt, luues võrdlusnäiteid.

• Automaatne proxy-mõõdik:

  • Mudeli perplexity vastustes.
  • Vastuste jaotuse võrdlemine oodatuga.

Üldiselt kasutatakse mittejuhendatud õppimisel sageli kaudseid kvaliteedimõõdikuid ja semantilisi mõõtmeid, mis kombineeritakse osalise märgistamise või ekspertide hindamisega.