Kas ir modeļa balstīts RL un kādas ir tā priekšrocības salīdzinājumā ar bezmodeļa?

Modelī balstīta pastiprināta mācīšanās (RL) ir pieeja, kurā aģents būvē vai izmanto apkārtējās vides (pārejas modeļa) modeli, lai prognozētu savu darbību sekas. Tas ļauj plānot un pieņemt lēmumus, izmantojot simulācijas modeļa iekšienē.

Pretstatā model-free RL, kurā aģents mācās tieši no mijiedarbības ar vidi bez skaidra modeļa, modelī balstīta RL izmanto modeli efektīvākai mācībai.

Modelī balstītas RL priekšrocības:

• Augstāka parauga efektivitāte — aģents var mācīties ātrāk, jo izmanto modeli, lai ģenerētu papildu datus un plānotu.
• Plānošanas iespēja — var prognozēt nākotnes stāvokļus un iepriekš izvēlēties optimālas darbības.
• Elastība — mainoties videi, pietiek atjaunināt modeli, nevis visu stratēģiju mācīt no jauna.

Tomēr, modelī balstīta RL īstenošana ir sarežģītāka, jo tā prasa precīzi izstrādāt vides modeli, kas ne vienmēr ir iespējams.

Piemērs: spēlē aģents var izmantot fizikas modeli, lai simulētu gājienus un izvēlētos labāko stratēģiju, nevis tieši izmēģinātu visas darbības reālajā spēlē.