Šta je RL zasnovan na modelima i koje su njegove prednosti u odnosu na RL bez modela?

Modelno zasnovano učenje putem pojačanja (RL) je pristup u kojem agent gradi ili koristi model okoline (model tranzicije) kako bi predvideo posledice svojih akcija. To omogućava planiranje i donošenje odluka koristeći simulacije unutar modela.

Za razliku od RL bez modela, gde agent uči direktno iz iskustva interakcije sa okolinom bez eksplicitnog modela, modelno zasnovani RL koristi model za efikasnije učenje.

Prednosti modelno zasnovanog RL:

• Veća efikasnost uzorka — agent može brže učiti, jer koristi model za generisanje dodatnih podataka i planiranje.
• Mogućnost planiranja — može predviđati buduće stanja i unapred birati optimalne akcije.
• Fleksibilnost — pri promenama u okruženju, dovoljno je ažurirati model, a ne celu strategiju.

Međutim, implementacija modelno zasnovanog RL je složenija, jer zahteva precizno građenje modela okoline, što nije uvek moguće.

Primer: u igri, agent može koristiti model fizike za simulaciju poteza i izbor najbolje strategije, umesto da direktno isprobava sve akcije u pravoj igri.