Как оценивать качество дообученной LLM на пользовательском домене?

Оценка качества дообученной LLM на пользовательском домене включает несколько аспектов:

• Точность и релевантность ответов: проверяется на специально подготовленном тестовом наборе данных из целевого домена.
• Метрики качества: такие как Perplexity, BLEU, ROUGE, F1-score, а также специфичные метрики для задач (например, точность классификации или полнота).
• Качественный анализ: ручная проверка ответов экспертами для оценки адекватности и полезности.
• Тестирование на устойчивость: проверка модели на разнообразных и сложных запросах, чтобы выявить слабые места.
• Сравнение с базовой моделью: чтобы убедиться, что дообучение действительно улучшило результаты на целевом домене.

Пример: если дообучаете LLM для медицинской поддержки, создайте тестовый набор вопросов из медицинской области и сравните ответы до и после дообучения, используя метрики и экспертную оценку.