Какие приёмы дешевле human eval (LLM-as-a-judge, model-graded)?

Human eval — это оценка качества моделей с помощью людей, что дорого и медленно. Более дешёвые альтернативы включают:

• LLM-as-a-judge (модель-судья): использование большой языковой модели для автоматической оценки ответов другой модели. Например, модель генерирует оценку качества или сравнивает варианты ответов.

• Model-graded evaluation: автоматическая оценка с помощью вспомогательных моделей, обученных оценивать качество вывода по определённым метрикам (согласованность, релевантность и т.п.).

• Автоматические метрики: BLEU, ROUGE, METEOR и другие, которые вычисляются программно без участия человека.

• Self-consistency и agreement-based методы: оценка качества на основе согласованности нескольких ответов модели.

Эти методы позволяют быстро и дешево получать оценки, но могут уступать по точности и надёжности человеческой оценке.