Comment évaluer un modèle non supervisé pour la tâche de réponses aux questions?

L’évaluation des modèles non supervisés pour la tâche de réponse aux questions (Question Answering) est une tâche complexe, car il n’y a pas d’étiquettes explicites de réponses correctes. Les approches possibles :

• Clustering et similarité sémantique :

  • Utiliser des embeddings de questions et réponses (par exemple, avec des modèles BERT).
  • Évaluer à quel point les réponses sont proches en sens des questions.

• Métriques de cohérence et de cohésion :

  • Vérifier dans quelle mesure les réponses sont logiquement liées aux questions.
  • On peut utiliser des modèles linguistiques pour évaluer la plausibilité des réponses.

• Utilisation de connaissances externes ou de règles :

  • Vérifier la correction factuelle des réponses à l’aide de bases de connaissances.

• Humain dans la boucle :

  • Évaluation partielle par des experts pour créer des exemples de référence.

• Métriques proxy automatiques :

  • Perplexité du modèle sur les réponses.
  • Comparaison de la distribution des réponses avec celle attendue.

En général, sans supervision, on utilise souvent des métriques de qualité indirectes et des mesures sémantiques, combinées à une annotation partielle ou une évaluation par des experts.