Расскажите про tabular Q-learning. Когда он перестаёт работать?

Tabular Q-learning — это классический алгоритм обучения с подкреплением, в котором значения Q-функции (качество действия в состоянии) хранятся в виде таблицы. Каждая ячейка таблицы соответствует паре (состояние, действие) и содержит оценку ожидаемой награды.

Алгоритм обновляет значения Q по формуле:

[ Q(s,a) \leftarrow Q(s,a) + \alpha \bigl(r + \gamma \max_{a'} Q(s',a') - Q(s,a)\bigr) ]

где:

• (s) — текущее состояние,
• (a) — выбранное действие,
• (r) — полученная награда,
• (s') — следующее состояние,
• (\alpha) — скорость обучения,
• (\gamma) — коэффициент дисконтирования.

Когда tabular Q-learning перестаёт работать?

• Большое или непрерывное пространство состояний и действий. Таблица становится слишком большой или бесконечной, что делает хранение и обновление невозможным.
• Высокая размерность состояний (curse of dimensionality). Количество пар (состояние, действие) растёт экспоненциально, что приводит к медленному обучению и большим затратам памяти.
• Неспособность обобщать. Табличный метод не может обобщать знания между похожими состояниями, в отличие от методов с функциями приближения (например, нейросетями).

В таких случаях применяют аппроксиматоры Q-функции (Deep Q-learning и др.), которые способны работать с непрерывными и высокоразмерными пространствами.