Fale sobre o Q-learning tabular. Quando ele para de funcionar?

O Q-learning tabular é um algoritmo clássico de aprendizagem por reforço, onde os valores da função Q (qualidade da ação num estado) são armazenados numa tabela. Cada célula da tabela corresponde a um par (estado, ação) e contém uma estimativa da recompensa esperada.

O algoritmo atualiza os valores de Q de acordo com a fórmula:

[ Q(s,a) \leftarrow Q(s,a) + \alpha \bigl(r + \gamma \max_{a'} Q(s',a') - Q(s,a)\bigr) ]

onde:

• (s) — estado atual,
• (a) — ação escolhida,
• (r) — recompensa recebida,
• (s') — próximo estado,
• (\alpha) — taxa de aprendizagem,
• (\gamma) — fator de desconto.

Quando o Q-learning tabular deixa de funcionar?

• Espaço de estados e ações grande ou contínuo. A tabela torna-se demasiado grande ou infinita, tornando o armazenamento e a atualização impossíveis.
• Alta dimensionalidade dos estados (maldição da dimensionalidade). O número de pares (estado, ação) cresce exponencialmente, levando a um aprendizado lento e a um grande consumo de memória.
• Incapacidade de generalizar. O método tabular não consegue generalizar conhecimentos entre estados semelhantes, ao contrário dos métodos com funções de aproximação (por exemplo, redes neuronais).

Nestes casos, usam-se aproximadores da função Q (Deep Q-learning e outros), que são capazes de trabalhar com espaços contínuos e de alta dimensão.