Mis on MT-Bench ja kuidas hinnang arvutatakse?

MT-Bench on võrdlusstandard suurte keelemudelite (LLM) jõudluse ja kvaliteedi hindamiseks. See koosneb ülesannete ja testide kogumist, mida mudelitele pakutakse lahendamiseks, et mõõta nende võimeid mõistmisel, teksti genereerimisel ja erinevate ülesannete lahendamisel.

MT-Bench hindamine põhineb tavaliselt mudeli vastuste kvaliteedil, võrreldes neid viitevastustega või teiste mudelite vastustega. Metrikad võivad hõlmata täpsust, täielikkust, järjepidevust ning subjektiivseid hindamisi genereerimise kvaliteedi kohta (näiteks inimannotatorite poolt).

Sel viisil aitab MT-Bench võrrelda erinevaid LLM-e nende tegelike võimete alusel ning tuvastada mudelite tugevad ja nõrgad küljed erinevates kasutusstsenaariumides.