Ce este Rainbow DQN și ce componente integrează?

Rainbow DQN este o versiune îmbunătățită a algoritmului Deep Q-Network (DQN) în domeniul învățării prin întărire, care combină mai multe tehnici avansate pentru a crește eficiența și stabilitatea învățării. Componentele principale pe care le integrează Rainbow DQN:

• Double DQN: reduce supraestimarea valorilor Q, folosind două seturi de parametri pentru selectarea și evaluarea acțiunilor.
• Arhitectura de Rețea Dueling: separă evaluarea stării și avantajele acțiunilor, ajutând la o evaluare mai bună a importanței stărilor.
• Replay Prioritizat al Experienței: selectarea prioritară a experiențelor pentru antrenament, pentru a folosi mai frecvent exemple mai semnificative.
• Învățare Multi-pas: utilizarea mai multor pași de recompensă pentru transmiterea mai rapidă a semnalelor.
• RL Distribuțional: modelarea distribuției recompenselor, nu doar valoarea lor medie.
• Rețele Noisy: adăugarea de stocasticitate în greutățile rețelei pentru a îmbunătăți explorarea mediului.

Combinarea acestor componente permite Rainbow DQN să atingă rezultate mai bune comparativ cu DQN-ul clasic, îmbunătățind stabilitatea și viteza de învățare.