Co je Rainbow DQN a jaké komponenty spojuje?

Rainbow DQN je vylepšená verze algoritmu Deep Q-Network (DQN) v oblasti učení s posilováním, která kombinuje několik pokročilých technik ke zvýšení efektivity a stability učení. Hlavní komponenty, které Rainbow DQN spojuje:

• Double DQN: snižuje nadhodnocení hodnot Q použitím dvou sad parametrů pro výběr a hodnocení akcí.
• Architektura s odlišujícími se sítěmi: odděluje hodnocení stavu a výhody akcí, což pomáhá lépe hodnotit důležitost stavů.
• Prioritizované opakování zkušeností: priorizovaný výběr zkušeností pro trénink, aby se častěji používaly významnější příklady.
• Učení s více kroky: využívá více kroků odměn pro rychlejší přenos signálů.
• Distribuční RL: modelování rozdělení odměn, nikoli pouze jejich průměrné hodnoty.
• Hlučné sítě: přidání stochastičnosti do vah sítě pro zlepšení průzkumu prostředí.

Kombinace těchto komponent umožňuje Rainbow DQN dosahovat lepších výsledků ve srovnání s klasickým DQN, zlepšuje stabilitu a rychlost učení.