Hogyan értékeljük a felügyelés nélküli modellt a kérdés-válasz feladathoz?

Az irányítatlan modellek értékelése a kérdés-válasz feladatra (Question Answering) összetett feladat, mivel nincsenek egyértelmű címkék a helyes válaszokra. Lehetséges megközelítések:

• Csoportosítás és szemantikus hasonlóság:

  • Kérdések és válaszok beágyazásainak (pl. BERT modellek segítségével) használata.
  • Értékelni, hogy mennyire közel állnak a válaszok a kérdésekhez jelentés szempontjából.

• Koherencia és összetartozás metrikái:

  • Ellenőrizni, hogy a válaszok mennyire logikusan kapcsolódnak a kérdésekhez.
  • Nyelvi modelleket lehet használni a válaszok valószerűségének értékelésére.

• Külső tudás vagy szabályok alkalmazása:

  • A válaszok tényszerű helyességének ellenőrzése tudásbázisok segítségével.

• Humán-in-the-loop:

  • Részleges értékelés szakértők által, referencia példák létrehozására.

• Automatikus proxy-metrikák:

  • A modell perplexitása a válaszokon.
  • A válaszok eloszlásának összehasonlítása a várttal.

Általánosságban, irányítatlan tanulás esetén gyakran alkalmaznak közvetett minőségi metrikákat és szemantikus méréseket, amelyeket részleges annotációval vagy szakértői értékelésekkel kombinálnak.