¿Cómo evaluar un modelo no supervisado para la tarea de respuestas a preguntas?

La evaluación de modelos no supervisados para la tarea de respuestas a preguntas (Question Answering) es una tarea compleja, ya que no hay etiquetas explícitas de respuestas correctas. Los enfoques posibles:

• Agrupamiento y similitud semántica:

  • Utilizar embeddings de preguntas y respuestas (por ejemplo, con modelos BERT).
  • Evaluar qué tan cercanas en significado están las respuestas a las preguntas.

• Métricas de coherencia y cohesión:

  • Verificar qué tan lógicamente relacionadas están las respuestas con las preguntas.
  • Se pueden usar modelos de lenguaje para evaluar la plausibilidad de la respuesta.

• Uso de conocimientos externos o reglas:

  • Verificar la corrección factual de las respuestas con bases de conocimiento.

• Humano en el ciclo:

  • Evaluación parcial con expertos para crear ejemplos de referencia.

• Métricas proxy automáticas:

  • Perplejidad del modelo en las respuestas.
  • Comparar la distribución de respuestas con la esperada.

En general, sin supervisión, a menudo se emplean métricas de calidad indirectas y medidas semánticas, además de combinarlas con anotaciones parciales o evaluaciones de expertos.