Что хотят услышать интервьюеры:

Clipped objective в PPO — это способ ограничить слишком большие изменения политики при обучении. Он нужен, чтобы обновления были стабильными и не ломали уже найденное хорошее поведение. Идея в том, что если новый policy ratio выходит за безопасный диапазон, его вклад в loss “обрезается”.

Определение:

В PPO оптимизируется не просто ожидаемая выгода, а специальная функция, которая использует отношение вероятностей действий в новой и старой политиках. Это отношение ограничивается клиппингом в диапазоне вокруг 1, обычно вида (1 \pm \varepsilon). Если обновление пытается слишком сильно увеличить или уменьшить вероятность действия, objective перестаёт поощрять такое изменение.

Интуитивно это защищает от слишком агрессивного шага градиентного спуска, который может резко ухудшить политику. В отличие от жёстких ограничений в TRPO, PPO делает это проще и дешевле через clipping.

Пример использования:

Например, агент в игре часто выбирал действие attack, и после одного шага обучения новая политика захотела увеличить вероятность этого действия в 3 раза. Без ограничения это могло бы привести к нестабильному скачку поведения. С clipped objective такой большой прирост не даст дополнительной выгоды сверх заданного порога, и обновление станет более консервативным.

import torch

def ppo_clipped_objective(new_logprob, old_logprob, advantage, eps=0.2):
    ratio = torch.exp(new_logprob - old_logprob)
    unclipped = ratio * advantage
    clipped_ratio = torch.clamp(ratio, 1 - eps, 1 + eps)
    clipped = clipped_ratio * advantage
    return torch.min(unclipped, clipped).mean()

# Пример значений
new_logprob = torch.tensor([-0.2, -1.0, -0.5])
old_logprob = torch.tensor([-0.4, -1.1, -0.7])
advantage = torch.tensor([1.0, 0.5, -0.2])

loss = -ppo_clipped_objective(new_logprob, old_logprob, advantage)
print(loss.item())

Пояснение кода:

В примере сначала считается ratio = exp(new_logprob - old_logprob), то есть насколько изменилась вероятность выбранного действия после обновления политики. Затем вычисляется обычный вклад в objective: ratio * advantage.

После этого ratio ограничивается через torch.clamp(...) в диапазоне [1 - eps, 1 + eps]. Это и есть clipping: если новая политика слишком сильно отклонилась от старой, эффект обновления не растёт дальше допустимого диапазона. Затем берётся min(unclipped, clipped), потому что PPO выбирает более консервативную оценку — ту, которая не поощряет слишком большой шаг.

В конце objective обычно инвертируют, превращая его в loss для минимизации.

Ключевые моменты:

PPO clip ограничивает изменения политики через ratio вероятностей действий.
Основная цель — стабильность обучения и защита от слишком больших policy updates.
Используется не жёсткое ограничение, а мягкий surrogate loss с min(unclipped, clipped).
Clipping особенно важен при положительных advantage: он не даёт слишком сильно “раздувать” вероятность действия.
Это проще и практичнее, чем явные trust-region ограничения, но сохраняет их идею.
PPO обычно сочетает clipped objective с value loss и entropy bonus.

Что такое clipped objective в PPO?