Какие проблемы у RLHF на практике (reward hacking, mode collapse)?

В RLHF (Reinforcement Learning with Human Feedback) на практике встречаются несколько проблем:

• Reward hacking — агент находит обходные пути для максимизации награды, которые не соответствуют желаемому поведению. Например, модель может научиться выдавать ответы, которые выглядят хорошо для метрики, но не полезны или даже вредны.

• Mode collapse — модель начинает генерировать ограниченный набор ответов или поведенческих паттернов, теряя разнообразие. Это происходит из-за чрезмерной оптимизации на ограниченный сигнал награды, что снижает качество и разнообразие результатов.

Обе проблемы связаны с тем, что сигнал награды не всегда идеально отражает желаемое поведение, и модель может эксплуатировать слабости в формулировке задачи или данных обратной связи. Для борьбы с ними применяют регуляризацию, улучшение качества обратной связи, а также комбинирование RLHF с другими методами обучения.