Что хотят услышать интервьюеры:

Важно услышать, что human eval — это не “поставить людям почитать ответы”, а выстроить воспроизводимый процесс с понятными критериями, рандомизацией и контролем качества разметки. Хороший ответ включает дизайн рубрики, выбор выборки, обучение разметчиков и анализ согласованности. Также ожидают понимание, как связать human eval с автоматическими метриками и продуктовым A/B.

Определение:

Human eval LLM-ответов — это оценка качества ответов модели людьми по заранее определённым критериям: полезность, точность, полнота, безопасность, стиль, соответствие задаче. Цель — получить измеримую и сопоставимую оценку там, где автоматических метрик недостаточно или они плохо отражают реальное качество.

Организация такой оценки обычно включает:

формулировку критериев и шкал;
подготовку набора запросов, отражающих реальные сценарии;
инструктаж оценщиков и примеры “хорошо/плохо”;
слепое сравнение ответов, если сравниваются несколько моделей;
контроль качества разметки и анализ расхождений между оценщиками.

Пример использования:

Команда сравнивает две версии ассистента для поддержки пользователей. Для 200 типичных запросов ответы обеих моделей показывают нескольким оценщикам вслепую, в случайном порядке. Оценщики выставляют баллы по полезности, точности и безопасности, а затем команда считает долю побед каждой модели и смотрит, где именно новая версия лучше или хуже.

Запрос: "Как восстановить доступ к аккаунту?"

Ответ A:
"Нажмите 'Забыли пароль', проверьте почту и следуйте инструкции. Если письмо не пришло, проверьте папку спам."

Ответ B:
"Обратитесь в поддержку."

Оценка по рубрике:
- Полезность: A выше
- Полнота: A выше
- Точность: ничья
- Безопасность: ничья

Пояснение кода:

Код не требуется. Процесс удобно разложить по шагам:

Определить, что именно оценивается: один ответ или сравнение нескольких ответов.
Сформировать рубрику с явными критериями и шкалой оценивания.
Подготовить репрезентативный датасет запросов из реального трафика.
Организовать слепую разметку, чтобы оценщик не знал, какая модель дала ответ.
Добавить контрольные примеры и проверку согласованности между оценщиками.
Свести результаты в метрики: средние баллы, win-rate, preference rate, распределение ошибок по категориям.
Проанализировать не только общий итог, но и сегменты, где модель проваливается.
На основе результатов обновить промпты, фильтры, retrieval или саму модель и повторить цикл.

Ключевые моменты:

Нужны чёткие критерии оценки, иначе разметка будет шумной и несопоставимой.
Слепое и рандомизированное сравнение снижает смещение в пользу конкретной модели.
Важно обучать оценщиков на примерах и проверять согласованность оценок.
Human eval лучше строить на реальных пользовательских запросах, а не на искусственных тестах.
Результаты стоит смотреть по сегментам: типы запросов, длина ответа, рискованные темы, языки.
Human eval обычно дополняет, а не заменяет автоматические метрики и A/B-тесты.

Как организовать human eval LLM-ответов в команде?