¿Cómo evaluar la calidad de un LLM ajustado en un dominio de usuario?

La evaluación de la calidad de un LLM ajustado en un dominio de usuario incluye varios aspectos:

• Precisión y relevancia de las respuestas: se verifica en un conjunto de datos de prueba preparado específicamente del dominio objetivo.
• Métricas de calidad: como Perplejidad, BLEU, ROUGE, puntuación F1, así como métricas específicas para tareas (por ejemplo, precisión de clasificación o exhaustividad).
• Análisis cualitativo: revisión manual de respuestas por expertos para evaluar la adecuación y utilidad.
• Pruebas de resistencia: verificar el modelo en consultas diversas y complejas para identificar puntos débiles.
• Comparación con un modelo base: para asegurarse de que el ajuste realmente mejora los resultados en el dominio objetivo.

Ejemplo: si ajusta un LLM para soporte médico, cree un conjunto de preguntas de prueba del campo médico y compare las respuestas antes y después del ajuste, usando métricas y evaluación experta.