Kas yra modeliu pagrįstas RL ir kokios jo pranašumai prieš be modelio?

Modeliu pagrįstas stiprinimo mokymasis (RL) yra požiūris, kai agentas kuria arba naudoja aplinkos (perėjimo modelį) modelį, kad galėtų numatyti savo veiksmų pasekmes. Tai leidžia planuoti ir priimti sprendimus naudojant modelio viduje vykstančias simuliacijas.

Skirtingai nuo model-free RL, kur agentas mokosi tiesiogiai iš sąveikos su aplinka be aiškaus modelio, modeliu pagrįstas RL naudoja modelį efektyvesniam mokymuisi.

Modeliu pagrįsto RL privalumai:

• Didesnė pavyzdžių efektyvumas — agentas gali mokytis greičiau, nes naudoja modelį papildomų duomenų generavimui ir planavimui.
• Planavimo galimybė — galima numatyti būsimus būsenas ir iš anksto pasirinkti optimalias veiksmus.
• Lankstumas — keičiant aplinką, pakanka atnaujinti modelį, o ne visą strategiją iš naujo mokyti.

Tačiau, modeliu pagrįstas RL yra sudėtingesnis įgyvendinti, nes reikalauja tiksliai sukurti aplinkos modelį, kas ne visada įmanoma.

Pavyzdys: žaidime agentas gali naudoti fizikos modelį, kad simuliuotų ėjimus ir pasirinktų geriausią strategiją, vietoj to, kad tiesiogiai bandytų visas veiksmus realiame žaidime.