Comment évaluer la qualité d'un LLM affiné sur un domaine utilisateur?

L'évaluation de la qualité d'un LLM affiné dans un domaine utilisateur comprend plusieurs aspects:

• Précision et pertinence des réponses: vérifiées sur un ensemble de données de test spécialement préparé du domaine cible.
• Métriques de qualité: telles que Perplexité, BLEU, ROUGE, score F1, ainsi que des métriques spécifiques aux tâches (par exemple, précision de classification ou rappel).
• Analyse qualitative: vérification manuelle des réponses par des experts pour évaluer l'adéquation et l'utilité.
• Test de robustesse: tester le modèle sur des requêtes diverses et complexes pour identifier ses faiblesses.
• Comparaison avec un modèle de base: pour s'assurer que l'affinement a réellement amélioré les résultats dans le domaine cible.

Exemple : si vous affinez un LLM pour le support médical, créez un ensemble de questions de test dans le domaine médical et comparez les réponses avant et après l'affinement, en utilisant des métriques et une évaluation d'experts.