Rainbow DQN чист ва кадом компонентҳоро муттаҳид мекунад?

Rainbow DQN — версияи такмилёфташудаи алгоритми Deep Q-Network (DQN) дар соҳаи омӯзиши бо такдири қувват мебошад, ки чанд техникаи пешрафтаро барои баланд бардоштани самаранокӣ ва устувории омӯзиш омезиш медиҳад. Компонентҳои асосие, ки Rainbow DQN мепайвандад:

• Double DQN: арзёбии қиматҳои Q-ро кам мекунад, бо истифода аз ду маҷмӯи параметрҳо барои интихоби ва арзёбии амалҳо.
• Мақсади шабакаи дугона: арзёбии ҳолат ва манфиатҳои амалҳоро ҷудо мекунад, ки кӯмак мекунад ба арзёбии беҳтари аҳамияти ҳолатҳо.
• Пешбарии таҷрибаҳои афзалиятнок: интихоби афзалиятноки таҷрибаҳо барои омӯзиш, то бештар истифодаи намунаҳои муҳимтар шавад.
• Омӯзиши бисёрқадамӣ: истифодаи чанд қадами подош барои интиқоли зудтар сигналҳо.
• RL тақсимшаванда: моделсозии тақсимоти подошҳо, на танҳо арзиши миёнаи онҳо.
• Шабакаҳои ғамгин: илова кардани стокастикӣ ба вазнҳои шабака барои беҳтар кардани кашф кардани муҳит.

Комбинатсияи ин компонентҳо имкон медиҳад, ки Rainbow DQN ба натиҷаҳои беҳтар дар муқоиса бо DQN классикӣ даст ёбад, устуворӣ ва суръати омӯзишро беҳтар мекунад.