Тарҳрезии системаи арзёбии марбутияти натиҷаҳои ҷустуҷӯ бо LLM-judge.

Барпоёни системаи арзёбии марбутияти натиҷаҳои ҷустуҷӯ бо истифода аз LLM-judge, метавонад ба тариқи зерин пешниҳод карда шавад:

1. Ҷамъоварии маълумот: Пурсишҳои ҷустуҷӯ ва натиҷаҳои мувофиқро мегирем.

2. Пешазмоягӣ: Матни пурсишҳо ва натиҷаҳоро нормализ мекунем, садоҳоро тоза мекунем.

3. Интегратсияи LLM-judge: Мо модели калони забонӣ (LLM) ҳамчун "ҳуқуқшинос" барои арзёбии марбутият истифода мебарем. Барои ҳар натиҷа, LLM пурсиш ва матни натиҷаро мегирад ва арзёбии марбутиятро мувофиқи шкалаи муайян медиҳад.

4. Калибркунии ва омӯзиш: Агар имкон бошад, тамғакунӣ аз ҷониби корбарон ё мутахассисон ҷамъоварӣ мекунем барои омӯзиш ё калибркунии модел, то дақиқии арзёбиҳоро беҳтар кунем.

5. Ҷамъбасти арзёбиҳо: Барои ҳар пурсиш, арзёбиҳои LLM-ро барои натиҷаҳо ҷамъбандӣ мекунем, то натиҷаҳоро ба тартиб дарорем.

6. Назорат ва фикру мулоҳиза: Системаи назоратро барои сифати арзёбиҳо татбиқ мекунем ва фикру мулоҳизаҳоро барои такмилоти пайваста ҷамъоварӣ мекунем.

Ин роҳ ба истифодаи қуввати LLM барои арзёбии марбутият дар сатҳи бештар нозук ва контекстуалӣ имкон медиҳад, ки сифати натиҷаҳои ҷустуҷӯ беҳтар шавад.