Jak ocenić model niesuperwizowany dla zadania odpowiedzi na pytania?

Ocena modeli bez nadzoru dla zadania odpowiadania na pytania (Question Answering) jest trudnym zadaniem, ponieważ nie ma wyraźnych etykiet poprawnych odpowiedzi. Możliwe podejścia:

• Klasteryzacja i podobieństwo semantyczne:

  • Użycie osadzeń pytań i odpowiedzi (np. za pomocą modeli BERT).
  • Ocena, jak bliskie znaczeniowo są odpowiedzi do pytań.

• Metryki spójności i koherencji:

  • Sprawdzanie, na ile odpowiedzi są logicznie powiązane z pytaniami.
  • Można użyć modeli językowych do oceny wiarygodności odpowiedzi.

• Wykorzystanie wiedzy zewnętrznej lub reguł:

  • Sprawdzanie poprawności faktograficznej odpowiedzi za pomocą baz wiedzy.

• Human-in-the-loop:

  • Częściowa ocena przez ekspertów w celu tworzenia wzorcowych przykładów.

• Automatyczne metryki proxy:

  • Perpleksja (złożoność) modelu na odpowiedziach.
  • Porównanie rozkładu odpowiedzi z oczekiwanym.

Ogólnie, w przypadku uczenia bez nadzoru często stosuje się pośrednie metryki jakości i miary semantyczne, łącząc je z częściową anotacją lub ocenami ekspertów.