Co je MT-Bench a jak se počítá hodnocení?

MT-Bench je benchmark pro hodnocení výkonu a kvality velkých jazykových modelů (LLM). Jedná se o sadu úkolů a testů, které jsou modelům nabízeny k řešení, aby se změřily jejich schopnosti v porozumění, generování textu a řešení různých úkolů.

Hodnocení v MT-Bench je obvykle založeno na kvalitě odpovědí modelu ve srovnání s referenčními odpověďmi nebo odpověďmi jiných modelů. Metriky mohou zahrnovat přesnost, úplnost, konzistenci a také subjektivní hodnocení kvality generování (například lidskými anotátory).

Tímto způsobem MT-Bench pomáhá porovnávat různé LLM podle jejich skutečných schopností a identifikovat silné a slabé stránky modelů v různých scénářích použití.