Čo je MT-Bench a ako sa počíta hodnotenie?

MT-Bench je benchmark za ocenjevanje zmogljivosti in kakovosti velikih jezikovnih modelov (LLM). Gre za nabor nalog in testov, ki jih modelom predlagajo za reševanje, da bi merili njihove sposobnosti v razumevanju, generiranju besedila in reševanju različnih nalog.

Ocenjevanje v MT-Bench je običajno odvisno od kakovosti odgovorov modela v primerjavi z referenčnimi odgovori ali odgovori drugih modelov. Metrike lahko vključujejo natančnost, popolnost, skladnost ter subjektivne ocene kakovosti generiranja (na primer, s strani človeških anotatorjev).

Tako MT-Bench pomaga primerjati različne LLM glede na njihove dejanske zmogljivosti in identificirati močne ter šibke strani modelov v različnih scenarijih uporabe.