Como avaliar a qualidade de um LLM ajustado no domínio do usuário?

A avaliação da qualidade de um LLM ajustado no domínio do utilizador inclui vários aspetos:

• Precisão e relevância das respostas: verificada numa coleção de dados de teste especificamente preparada do domínio alvo.
• Métricas de qualidade: como Perplexidade, BLEU, ROUGE, pontuação F1, bem como métricas específicas para tarefas (por exemplo, precisão de classificação ou recall).
• Análise qualitativa: revisão manual de respostas por especialistas para avaliar a adequação e utilidade.
• Testes de resistência: testar o modelo em consultas diversas e complexas para identificar pontos fracos.
• Comparação com um modelo base: para garantir que o ajuste realmente melhorou os resultados no domínio alvo.

Exemplo: se estiver ajustando um LLM para suporte médico, crie um conjunto de perguntas de teste na área médica e compare as respostas antes e depois do ajuste, usando métricas e avaliação de especialistas.