Ինչպես կազմակերպել մարդկային գնահատումը LLM-պատասխանների թիմում?

Խումբում human eval LLM-պատասխանների կազմակերպումը պահանջում է համակարգային մոտեցում՝ օբյեկտիվ և վերարտադրելի գնահատում ստանալու համար մոդելների որակի։ Ահա հիմնական քայլերը.

1. Գնահատման չափանիշների սահմանում: համաձայնեցրեք թիմի հետ մետրիկաները և պարամետրերը, որոնց հիման վրա կգնահատվեն պատասխանները (օրինակ՝ համապատասխանություն, լրում, ճշգրտություն, ոճ):

2. Ներածական հրահանգների մշակում: ստեղծեք մանրամասն ուղեցույց օրինակներով՝ նվազեցնելու համար սուբյեկտիվությունը և ապահովելու գնահատումների միօրինակությունը:

3. Հանրագումարի և ուսուցման ընտրություն: ներգրավել մասնագետներ, ովքեր ծանոթ են ոլորտին, և անցկացնել ուսուցում հրահանգների համաձայն:

4. Գնահատման գործիքներ: օգտագործեք հարթակներ կամ ներքին գործիքներ, որտեղ հեշտությամբ կարող եք դիտել պատասխանները և նշանակել գնահատականներ (օրինակ՝ Google Forms, մասնագիտացված նշման համակարգեր):

5. Փորձնական թեստավորում: անցկացրեք փորձնական գնահատում՝ հայտնաբերելու հրահանգների կամ գործընթացի խնդիրները:

6. Կոնսիստենցիայի վերլուծություն: չափեք գնահատողների միջև համընկնումը (օրինակ՝ Kappa գործակիցը), որպեսզի հասկանալ գնահատումների հուսալիությունը:

7. Կանոնավոր վերանայումներ: ժամանակ առ ժամանակ վերանայեք չափանիշները և գործընթացը՝ հաշվի առնելով արձագանքները և մոդելի փոփոխությունները:

Օրինակ՝ թիմը հավաքում է 100 պատասխան LLM-ների կողմից տիպային հարցերին, դրանք բաժանում է 3 գնահատողների միջև, որոնք հրահանգների համաձայն գնահատում են 1-5 միջակայքում՝ համապատասխանության հիման վրա։ Այնուհետև արդյունքները վերլուծվում են՝ բացահայտելու մոդելի թույլ կողմերը և բարելավելու։