Какие метрики знаешь для оценки LLM системы в целом?

Для оценки LLM (Large Language Model) системы обычно используют несколько типов метрик, которые можно разделить на технические и прикладные:

1. Качество генерации текста:

   • Perplexity — мера того, насколько хорошо модель предсказывает тестовые данные (чем ниже, тем лучше).
   • BLEU, ROUGE, METEOR — метрики для оценки качества сгенерированного текста по сравнению с эталонными ответами.
   • Accuracy / F1-score — для задач классификации или извлечения информации.

2. Производительность и эффективность:

   • Время отклика (latency) — насколько быстро модель отвечает.
   • Пропускная способность (throughput) — количество запросов, обрабатываемых в единицу времени.
   • Использование ресурсов — CPU, GPU, память.

3. Юзабилити и пользовательский опыт:

   • Human Evaluation — оценка качества ответов людьми по таким критериям, как релевантность, связность, креативность.
   • User Satisfaction — опросы и метрики удовлетворённости пользователей.

4. Безопасность и этичность:

   • Чувствительность к токсичности — насколько модель генерирует нежелательный или вредоносный контент.
   • Bias Metrics — оценка предвзятости модели.

Выбор метрик зависит от конкретной задачи и требований к системе. Например, для чат-бота важна скорость и качество диалога, для автоматического суммирования — ROUGE, для классификации — точность и полнота.