Что хотят услышать интервьюеры:

Pairwise preference — это способ сравнения двух ответов, где выбирается лучший из пары по некоторому критерию. В оценке LLM это обычно используется, чтобы понять, какой ответ предпочитают люди или модель-оценщик. Считать это можно как долю побед в парных сравнениях или как вероятность того, что один вариант выигрывает у другого.

Определение:

Pairwise preference — это метрика или схема оценки, при которой объекты сравниваются попарно, и для каждой пары фиксируется победитель, проигравший или ничья. В контексте LLM это часто означает сравнение двух ответов на один и тот же запрос по качеству, полезности, точности или стилю. Итог может выражаться в виде win rate, preference rate или через агрегированную модель предпочтений.

Пример использования:

Допустим, есть 100 запросов и для каждого сгенерированы два ответа: A и B. Эксперт или judge-модель выбирает, какой ответ лучше в каждой паре. Если A победил в 62 случаях, B — в 28, и 10 раз была ничья, то pairwise preference для A можно посчитать как win rate:

win rate A = 62 / 100 = 62%

Если ничьи учитываются отдельно, иногда считают:

preference rate A = (wins_A + 0.5 * ties) / total
                 = (62 + 0.5 * 10) / 100
                 = 67%

Пояснение кода:

Код не требуется. Логику расчёта можно разложить так:

Для каждой пары ответов определить результат сравнения: A, B или ничья.
Подсчитать число побед каждого варианта.
Выбрать формулу агрегации:
- без ничьих: wins / total
- с учётом ничьих как половины победы: (wins + 0.5 * ties) / total
Если нужно сравнить модели по всей выборке, агрегировать результаты по всем парам и смотреть на итоговый win rate.

Ключевые моменты:

Pairwise preference измеряет относительное предпочтение между двумя вариантами, а не абсолютное качество.
В LLM-evaluation это один из самых практичных способов сравнивать ответы, особенно когда объективной метрики нет.
Самый простой расчёт — доля побед одной модели в попарных сравнениях.
Ничьи можно либо исключать, либо учитывать как 0.5 победы, но правило нужно фиксировать заранее.
Для надёжности важно, чтобы сравнения были сбалансированы: одинаковые промпты, одинаковые условия, по возможности рандомизация порядка ответов.
Pairwise preference хорошо интерпретируется, но зависит от качества judge-а и формулировки критериев оценки.

Что такое pairwise preference и как его считать?