Ինչպե՞ս գնահատել անակնկալ մոդելը հարցերի պատասխանների առաջադրանքի համար։

Հարցերին պատասխանելու (Question Answering) համար անուղղակի մոդելների գնահատումը բարդ խնդիր է, քանի որ բացահայտ նշումներ ճիշտ պատասխանների համար չկան: Միջնորդական մոտեցումներ:

• Կլաստերացում և սեմանտիկ նմանություն:

  • Հարցերի և պատասխանների embedding-ների օգտագործում (օրինակ՝ BERT մոդելներով):
  • Արձագանքների սիմանային մոտությունը գնահատել:

• Կոերենցիայի և կապակցության չափանիշներ:

  • Ստուգել, թե որքանով են պատասխանները տրամաբանական կապակցված հարցերի հետ:
  • Տեղի լեզվական մոդելներ կարող են օգտագործվել պատասխանների հավանականությունը գնահատելու համար:

• Արտաքին գիտելիքների կամ կանոնների օգտագործում:

  • Ստուգել պատասխանների փաստական ճշգրտությունը գիտելիքների բազաների միջոցով:

• Human-in-the-loop:

  • մասնագիտական գնահատում՝ օրինակների ստեղծման համար:

• Ավտոմատ proxy-մետոդներ:

  • Մոդելի perplexity-ը պատասխանների վրա:
  • Պատասխանների բաշխման համեմատությունը սպասվողի հետ:

Ընդհանուր առմամբ, անուղղակի որակական չափանիշներ և սեմանտիկ միջոցներ հաճախ օգտագործվում են անուղղակի գնահատականների հետ, որոնք համակցվում են մասնագիտական գնահատականների կամ մասնավոր նշումների հետ: