Czym jest MT-Bench i jak obliczana jest ocena?

MT-Bench to benchmark służący do oceny wydajności i jakości dużych modeli językowych (LLM). Składa się z zestawu zadań i testów, które są proponowane modelom w celu zmierzenia ich zdolności w rozumieniu, generowaniu tekstu i rozwiązywaniu różnych zadań.

Ocena w MT-Bench zwykle opiera się na jakości odpowiedzi modelu w porównaniu z odpowiedziami referencyjnymi lub odpowiedziami innych modeli. Metryki mogą obejmować dokładność, pełność, spójność, a także subiektywne oceny jakości generacji (np. przez ludzkich anotatorów).

W ten sposób MT-Bench pomaga porównywać różne LLM na podstawie ich rzeczywistych możliwości i identyfikować mocne i słabe strony modeli w różnych scenariuszach użycia.