Šta je MT-Bench i kako se računa ocena?

MT-Bench је бенчмарк за процену перформанси и квалитета великих језичких модела (LLM). Он представља скуп задатака и тестова који се моделима нуде да реше како би се измериле њихове способности у разумевању, генерисању текста и решавању различитих задатака.

Оцена у MT-Bench обично се заснива на квалитету одговора модела у поређењу са референтним одговорима или одговорима других модела. Метрике могу укључивати прецизност, потпуност, доследност, као и субјективне оцене квалитета генерисања (на пример, помоћу људских annotатора).

На овај начин, MT-Bench помаже у поређењу различитих LLM по њиховим стварним способностима и у идентификовању јаких и слабих страна модела у различитим сценаријима коришћења.