Hoe evalueer je een niet-gesuperiseerd model voor de vraag-antwoord taak?

De beoordeling van ongesuperviseerde modellen voor de taak van vraagbeantwoording (Question Answering) is een complexe taak, omdat er geen expliciete labels voor juiste antwoorden zijn. Mogelijke benaderingen:

• Clustering en semantische gelijkenis:

  • Gebruik maken van embeddings van vragen en antwoorden (bijvoorbeeld met BERT-modellen).
  • Evalueren hoe dicht de antwoorden qua betekenis bij de vragen liggen.

• Metrieken voor coherentie en samenhang:

  • Controleren in hoeverre de antwoorden logisch verbonden zijn met de vragen.
  • Taalmodellen kunnen worden gebruikt om de plausibiliteit van antwoorden te beoordelen.

• Gebruik van externe kennis of regels:

  • Controleren van de feitelijke correctheid van antwoorden met behulp van kennisbanken.

• Human-in-the-loop:

  • Gedeeltelijke beoordeling door experts om referentievoorbeelden te maken.

• Automatische proxy-metrieken:

  • Perplexiteit van het model op de antwoorden.
  • Vergelijking van de verdeling van antwoorden met de verwachte verdeling.

Over het algemeen worden bij ongesuperviseerde methoden vaak indirecte kwaliteitsmetingen en semantische maatregelen gebruikt, gecombineerd met gedeeltelijke annotaties of expertbeoordelingen.