Jak hodnotit model bez učitele pro úlohu odpovědí na otázky?

Hodnocení nestrukturovaných modelů pro úlohu odpovídání na otázky (Question Answering) je složitý úkol, protože neexistují jasné značky správných odpovědí. Možné přístupy:

• Shlukování a sémantická podobnost:

  • Použití embeddingů otázek a odpovědí (například s modely BERT).
  • Hodnocení, jak moc jsou odpovědi významově blízké otázkám.

• Metody koherence a soudržnosti:

  • Kontrola, jak logicky jsou odpovědi spojeny s otázkami.
  • Jazykové modely lze použít k hodnocení věrohodnosti odpovědí.

• Využití externích znalostí nebo pravidel:

  • Kontrola faktické správnosti odpovědí pomocí znalostních databází.

• Human-in-the-loop:

  • Částečné hodnocení experty pro tvorbu referenčních příkladů.

• Automatické proxy metriky:

  • Perplexita modelu na odpovědích.
  • Porovnání rozdělení odpovědí s očekávaným.

Obecně se u nestrukturovaného učení často používají nepřímé metriky kvality a sémantické míry, které se kombinují s částečnou anotací nebo expertními hodnoceními.