Ako hodnotiť model bez učiteľa pre úlohu odpovedí na otázky?

Hodnotenie nestruktúrovaných modelov pre úlohu odpovedania na otázky (Question Answering) je zložitá úloha, pretože neexistujú jasné značky správnych odpovedí. Možné prístupy:

• Zhlukovanie a sémantická podobnosť:

  • Použitie embeddingov otázok a odpovedí (napríklad s modelmi BERT).
  • Hodnotenie, ako veľmi sú odpovede významovo blízke otázkam.

• Metódy koherencie a súdržnosti:

  • Kontrola, ako logicky sú odpovede prepojené s otázkami.
  • Jazykové modely môžu byť použité na hodnotenie pravdepodobnosti odpovedí.

• Využitie externých znalostí alebo pravidiel:

  • Kontrola faktickej správnosti odpovedí pomocou databáz znalostí.

• Human-in-the-loop:

  • Čiastočné hodnotenie odborníkmi na tvorbu referenčných príkladov.

• Automatické proxy metriky:

  • Perplexita modelu na odpovediach.
  • Porovnanie rozdelenia odpovedí s očakávaným.

Všeobecne platí, že pri nestrukturovanom učení sa často používajú nepriame metriky kvality a sémantické opatrenia, ktoré sa kombinujú s čiastočnou anotáciou alebo hodnotením expertov.