Como organizar a avaliação humana das respostas LLM na equipa?

A organização da avaliação humana das respostas LLM numa equipa requer uma abordagem sistemática para obter uma avaliação objetiva e reproduzível da qualidade dos modelos. Aqui estão os passos-chave:

1. Definir critérios de avaliação: concorde com a equipa as métricas e parâmetros para avaliar as respostas (por exemplo, relevância, completude, correção, estilo).

2. Desenvolver instruções para os avaliadores: crie um guia detalhado com exemplos para minimizar a subjetividade e garantir a uniformidade das avaliações.

3. Selecionar e treinar avaliadores: envolva especialistas familiarizados com a área temática e realize formação de acordo com as instruções.

4. Ferramentas para avaliação: utilize plataformas ou ferramentas internas onde seja conveniente rever as respostas e atribuir classificações (por exemplo, Google Forms, sistemas de anotação especializados).

5. Teste piloto: realize uma ronda de avaliação de teste para identificar problemas nas instruções ou no processo.

6. Análise de consistência: meça a consistência entre avaliadores (por exemplo, coeficiente Kappa) para entender a fiabilidade das avaliações.

7. Revisões periódicas: revise periodicamente os critérios e o processo, considerando os comentários e mudanças no modelo.

Exemplo: a equipa recolhe 100 respostas de LLM a perguntas típicas, distribui-as entre 3 avaliadores, que segundo as instruções atribuem pontuações de 1 a 5 com base na relevância. Depois, os resultados são analisados para identificar fraquezas do modelo e melhorar.