Čo je Bellmanova rovnica a na čo slúži?

Bellmanova rovnica je základná rekurzívna rovnica v teórii optimálneho riadenia a učenia s posilňovaním (reinforcement learning). Vyjadruje optimálnu hodnotu (value) stavu alebo akcie prostredníctvom hodnôt nasledujúcich stavov.

V podstate Bellmanova rovnica spája aktuálne hodnotenie s očakávanou odmenou a hodnotením budúcich stavov, čo umožňuje sekvenčné výpočty optimálnej stratégie.

Formálne, pre funkciu hodnoty stavu V(s), rovnica vyzerá takto:

[ V^(s) = \max_a \left[ R(s,a) + \gamma \sum_{s'} P(s'|s,a) V^(s') \right] ]

kde:

• (V^*(s)) — optimálna hodnota stavu s,
• (R(s,a)) — očakávaná odmena za akciu a v stave s,
• (\gamma) — diskontný faktor budúcich odmien,
• (P(s'|s,a)) — pravdepodobnosť prechodu do stavu s' z s pri vykonaní akcie a.

Na čo je Bellmanova rovnica?

• Umožňuje vypočítať optimálnu stratégiu (politiku) v rozhodovacích úlohách.
• Je základom mnohých algoritmov učenia s posilňovaním, ako je Q-learning a metódy dynamického programovania.
• Poskytuje rekurzívnu metódu hodnotenia a zlepšovania stratégií.

Príklad: v hre môže agent použiť Bellmanovu rovnicu na hodnotenie, ktorá akcia prinesie maximálnu celkovú odmenu v budúcnosti, zohľadňujúc pravdepodobnosti prechodov a odmeny.