Что такое experience replay buffer и зачем он нужен?

Experience replay buffer — это структура данных, используемая в обучении с подкреплением (reinforcement learning), которая хранит прошлые переходы агента (состояние, действие, награда, следующее состояние).

Зачем нужен:

• Позволяет повторно использовать опыт, что повышает эффективность обучения.
• Разрывает корреляцию между последовательными наблюдениями, делая обучение более стабильным.
• Помогает избежать переобучения на последних данных, обеспечивая разнообразие примеров.

Пример: агент играет в игру, каждое действие и результат сохраняются в буфере. Во время обучения случайные мини-батчи из буфера используются для обновления модели, что улучшает обобщающую способность.