Kako oceniti model bez učitelja za zadatak odgovora na pitanja?

Procena nestrukturisanih modela za zadatak odgovaranja na pitanja (Question Answering) je složen zadatak, jer ne postoje jasne oznake za tačne odgovore. Mogući pristupi:

• Klasterizacija i semantička sličnost:

  • Korišćenje embeddinga za pitanja i odgovore (npr. pomoću BERT modela).
  • Procena koliko su odgovori semantički bliski pitanjima.

• Metričke za koherentnost i povezanost:

  • Provera koliko su odgovori logično povezani sa pitanjima.
  • Mogu se koristiti jezički modeli za procenu verovatnoće odgovora.

• Korišćenje spoljašnjeg znanja ili pravila:

  • Provera faktualne tačnosti odgovora pomoću baza znanja.

• Human-in-the-loop:

  • Delimična procena od strane stručnjaka za kreiranje referentnih primera.

• Automatske proxy metrike:

  • Perpleksnost modela na odgovorima.
  • Poređenje distribucije odgovora sa očekivanom.

Uopšteno, kod nestrukturisanog učenja često se koriste indirektne metrike kvaliteta i semantičke mere, koje se kombinuju sa delimičnom anotacijom ili stručnom procenom.