Como avaliar um modelo não supervisionado para a tarefa de respostas a perguntas?

A avaliação de modelos não supervisionados para a tarefa de respostas a perguntas (Question Answering) é uma tarefa complexa, pois não há etiquetas explícitas de respostas corretas. Abordagens possíveis:

• Agrupamento e similaridade semântica:

  • Utilizar embeddings de perguntas e respostas (por exemplo, com modelos BERT).
  • Avaliar o quão próximas semanticamente estão as respostas das perguntas.

• Métricas de coerência e coesão:

  • Verificar o quão logicamente relacionadas estão as respostas às perguntas.
  • Pode-se usar modelos de linguagem para avaliar a plausibilidade da resposta.

• Uso de conhecimentos externos ou regras:

  • Verificar a correção factual das respostas usando bases de conhecimento.

• Humano na cadeia:

  • Avaliação parcial por especialistas para criar exemplos de referência.

• Métricas proxy automáticas:

  • Perplexidade do modelo nas respostas.
  • Comparar a distribuição de respostas com a esperada.

De modo geral, sem supervisão, frequentemente se usam métricas de qualidade indiretas e medidas semânticas, além de combiná-las com marcações parciais ou avaliações de especialistas.