Как да оценим модел без учител за задачата с отговори на въпроси?

Оценката на модели без учител за задачата за отговори на въпроси (Question Answering) е сложна задача, тъй като няма ясни етикети за правилните отговори. Възможни подходи:

• Клъстеризация и семантична сходност:

  • Използване на ембединг на въпроси и отговори (например с модели BERT).
  • Оценка колко близки по смисъл са отговорите до въпросите.

• Метрични за когерентност и свързаност:

  • Проверка колко логично са свързани отговорите с въпросите.
  • Могат да се използват езикови модели за оценка на вероятността на отговорите.

• Използване на външни знания или правила:

  • Проверка на фактологическата коректност на отговорите с помощта на бази данни.

• Човек-в-цикъла:

  • Частична оценка от експерти за създаване на референтни примери.

• Автоматични прокси метрики:

  • Перплексността на модела върху отговорите.
  • Сравнение на разпределението на отговорите с очакваното.

Общо взето, при безучителното обучение често се използват косвени метрики за качество и семантични мерки, които се комбинират с частична маркировка или експертна оценка.