Wat is modelgebaseerde RL en wat zijn de voordelen ten opzichte van modelvrije RL?

Modelgebaseerd Reinforcement Learning (RL) is een aanpak waarbij de agent een model van de omgeving (overgangsmodel) bouwt of gebruikt om de gevolgen van zijn acties te voorspellen. Dit stelt hem in staat om te plannen en beslissingen te nemen door simulaties binnen het model.

In tegenstelling tot model-free RL, waarbij de agent direct leert van interactie-ervaring met de omgeving zonder expliciet model, gebruikt modelgebaseerd RL het model voor efficiënter leren.

Voordelen van modelgebaseerd RL:

• Hogere steekproeffrequentie — de agent kan sneller leren doordat hij het model gebruikt om extra gegevens te genereren en te plannen.
• Planningsmogelijkheden — toekomstige staten kunnen worden voorspeld en optimale acties vooraf worden gekozen.
• Flexibiliteit — bij veranderingen in de omgeving hoeft alleen het model te worden bijgewerkt, niet de hele strategie opnieuw te worden getraind.

Echter, het implementeren van modelgebaseerd RL is moeilijker omdat het nauwkeurig bouwen van een model van de omgeving vereist, wat niet altijd mogelijk is.

Voorbeeld: in een spel kan de agent een fysica-model gebruiken om zetten te simuleren en de beste strategie te kiezen, in plaats van alle acties direct in het echte spel te proberen.