Come valutare un modello non supervisionato per il compito di risposte alle domande?

La valutazione di modelli non supervisionati per il compito di risposte alle domande (Question Answering) è un compito complesso, poiché non ci sono etichette esplicite di risposte corrette. Le possibili strategie:

• Clustering e similarità semantica:

  • Utilizzare embedding di domande e risposte (ad esempio, con modelli BERT).
  • Valutare quanto le risposte siano semanticamente vicine alle domande.

• Metriche di coerenza e coesione:

  • Verificare quanto le risposte siano logicamente collegate alle domande.
  • È possibile usare modelli linguistici per valutare la plausibilità delle risposte.

• Utilizzo di conoscenze esterne o regole:

  • Verificare la correttezza fattuale delle risposte con basi di conoscenza.

• Human-in-the-loop:

  • Valutazione parziale da parte di esperti per creare esempi di riferimento.

• Metriche proxy automatiche:

  • Perplessità del modello sulle risposte.
  • Confronto della distribuzione delle risposte con quella attesa.

In generale, senza supervisione, si usano spesso metriche di qualità indirette e misure semantiche, combinandole con annotazioni parziali o valutazioni di esperti.