Какво е Rainbow DQN и какви компоненти обединява?

Rainbow DQN е подобрена версия на алгоритъма Deep Q-Network (DQN) в областта на обучението с подкрепа, която комбинира няколко напреднали техники за подобряване на ефективността и стабилността на обучението. Основните компоненти, които Rainbow DQN съчетава:

• Double DQN: намалява преоценката на Q-стойностите, използвайки два набора от параметри за избор и оценка на действията.
• Архитектура на двете мрежи: разделя оценката на състоянието и предимствата на действията, което помага по-добре да се оцени важността на състоянията.
• Приоритизирано повторно обучение на опита: приоритизиран избор на опит за обучение, за да се използват по-често по-значимите примери.
• Мултистъпково обучение: използване на множество стъпки награди за по-бързо предаване на сигнали.
• Разпределително RL: моделиране на разпределението на наградите, а не само на тяхната средна стойност.
• Шумни мрежи: добавяне на стохастичност към теглата на мрежата за подобряване на изследването на средата.

Комбинацията от тези компоненти позволява на Rainbow DQN да постига по-добри резултати в сравнение с класическия DQN, като подобрява стабилността и скоростта на обучение.