Какво е DQN и какви проблеми решава в сравнение с Q-learning?

DQN (Deep Q-Network) е алгоритъм за обучение с подкрепа, който използва невронна мрежа за апроксимация на Q-функцията, за разлика от класическото Q-обучение, което съхранява стойностите Q в таблица.

Проблеми на класическото Q-обучение:

• Не е ефективно при големи или непрекъснати пространства на състоянията, тъй като таблицата Q става твърде голяма или невъзможна за съхранение.
• Не може да обобщава знания между подобни състояния.

DQN решава тези проблеми чрез:

• Използване на дълбока невронна мрежа за апроксимация на Q-функцията, което позволява работа с високоразмерни и непрекъснати състояния.
• Прилагане на механизъм за опит (experience replay), който съхранява минали преходи и се обучава на случайни мини-пакети, намалявайки корелацията между последователните данни и стабилизирайки обучението.
• Използване на целева мрежа (target network), която се обновява по-рядко, за да стабилизира целевите стойности по време на обучение.

По този начин DQN позволява прилагането на Q-обучение към сложни задачи с големи пространства на състояния, например игри с входни изображения.