Что такое CQL (Conservative Q-Learning)?

Conservative Q-Learning (CQL) — это метод обучения с подкреплением, направленный на повышение стабильности и надежности обучения в офлайн-режиме (offline RL). В классическом Q-Learning агент учится максимизировать ожидаемое вознаграждение, обновляя функцию ценности (Q-функцию) на основе опыта. Однако при обучении на фиксированном наборе данных (без взаимодействия с окружающей средой) классические методы могут переоценивать действия, что приводит к плохой политике.

CQL решает эту проблему, добавляя в функцию потерь штраф за переоценку Q-значений для действий, не представленных в обучающем наборе данных. Это заставляет модель быть более консервативной, снижая Q-значения для неопределённых или редких действий и тем самым уменьшая риск выбора плохих стратегий.

Примерно, в CQL минимизируется следующая функция потерь:

Loss = MSE(Q(s,a), target) + \\ 
\alpha (E_{a \sim \pi}[Q(s,a)] - E_{a \sim D}[Q(s,a)])

где $D$ — распределение действий из обучающего набора, а $\pi$ — политика агента. Таким образом, CQL балансирует между обучением на данных и консервативным снижением переоценок.