Wie bewertet man ein unüberwachtes Modell für die Frage-Antwort-Aufgabe?

Die Bewertung unüberwachter Modelle für die Fragebeantwortungsaufgabe (Question Answering) ist eine komplexe Aufgabe, da es keine expliziten Labels für richtige Antworten gibt. Mögliche Ansätze:

• Clustering und semantische Ähnlichkeit:

  • Verwendung von Embeddings für Fragen und Antworten (z.B. mit BERT-Modellen).
  • Bewertung, wie nah die Antworten inhaltlich an den Fragen sind.

• Kohärenz- und Zusammenhangsmetriken:

  • Überprüfung, wie logisch die Antworten mit den Fragen verbunden sind.
  • Sprachmodelle können verwendet werden, um die Plausibilität der Antworten zu bewerten.

• Verwendung externer Kenntnisse oder Regeln:

  • Überprüfung der faktischen Korrektheit der Antworten mit Wissensbasen.

• Human-in-the-Loop:

  • Teilweise Bewertung durch Experten zur Erstellung von Referenzbeispielen.

• Automatische Proxy-Metriken:

  • Perplexität des Modells bei den Antworten.
  • Vergleich der Verteilung der Antworten mit der erwarteten.

Insgesamt werden bei unüberwachtem Lernen oft indirekte Qualitätsmetriken und semantische Maße verwendet, die mit teilweiser Annotation oder Expertenbewertungen kombiniert werden.