Что такое judge LLM и какие у него bias-проблемы (length bias, position bias)?

Judge LLM — это языковая модель, используемая для автоматической оценки качества ответов других моделей или систем. Она выступает в роли "судьи", сравнивая варианты и выставляя оценки.

Проблемы bias (смещения) у judge LLM:

• Length bias (смещение по длине): модель может предпочитать более длинные или более короткие ответы, не учитывая их качество. Например, длинный ответ может получить более высокую оценку просто из-за объема текста.

• Position bias (смещение по позиции): при сравнении нескольких вариантов модель может отдавать предпочтение ответам, расположенным в определённой позиции (например, первому или последнему), что искажает объективность оценки.

Эти смещения влияют на надёжность оценки и требуют специальных методов коррекции, таких как нормализация длины, рандомизация порядка ответов и использование дополнительных метрик для более объективной оценки.