Cum se evaluează un model nesupravegheat pentru sarcina de răspunsuri la întrebări?

Evaluarea modelelor nesupravegheate pentru sarcina de răspuns la întrebări (Question Answering) este o sarcină dificilă, deoarece nu există etichete explicite pentru răspunsurile corecte. Abordări posibile:

• Clusterizare și similitudine semantică:

  • Utilizarea de embedding-uri pentru întrebări și răspunsuri (de exemplu, cu modele BERT).
  • Evaluarea cât de apropiate semantic răspunsurile sunt de întrebări.

• Metrice de coerență și coeziune:

  • Verificarea cât de logic legate sunt răspunsurile de întrebări.
  • Se pot folosi modele lingvistice pentru a evalua plausibilitatea răspunsurilor.

• Utilizarea cunoștințelor externe sau a regulilor:

  • Verificarea corectitudinii faptice a răspunsurilor cu ajutorul bazelor de cunoștințe.

• Human-in-the-loop:

  • Evaluare parțială de către experți pentru crearea de exemple de referință.

• Metrice proxy automate:

  • Perplexitatea modelului pe răspunsuri.
  • Compararea distribuției răspunsurilor cu cea așteptată.

În general, în cazul învățării fără supraveghere, se folosesc adesea metrici indirecte de calitate și măsuri semantice, combinate cu marcaje parțiale sau evaluări ale experților.