O que é o MT-Bench e como é calculada a avaliação?

O MT-Bench é um benchmark para avaliar o desempenho e a qualidade de grandes modelos de linguagem (LLM). Consiste num conjunto de tarefas e testes propostos aos modelos para medir as suas capacidades de compreensão, geração de texto e resolução de várias tarefas.

A avaliação no MT-Bench geralmente baseia-se na qualidade das respostas do modelo em comparação com respostas de referência ou com respostas de outros modelos. As métricas podem incluir precisão, abrangência, coerência, bem como avaliações subjetivas da qualidade da geração (por exemplo, por anotadores humanos).

Assim, o MT-Bench ajuda a comparar diferentes LLM com base nas suas capacidades reais e a identificar pontos fortes e fracos dos modelos em vários cenários de uso.