Co je to modelově založené RL a jaké má výhody oproti bezmodelovému?

Modelově založené posilování (RL) je přístup, při kterém agent staví nebo používá model prostředí (přechodový model), aby předpovídal důsledky svých akcí. To umožňuje plánování a rozhodování pomocí simulací uvnitř modelu.

Na rozdíl od model-free RL, kde se agent učí přímo z zkušenosti s interakcí s prostředím bez explicitního modelu, modelově založené RL využívá model pro efektivnější učení.

Výhody modelově založeného RL:

• Vyšší efektivita vzorků — agent se může učit rychleji, protože používá model k generování dalších dat a plánování.
• Možnost plánování — lze předpovídat budoucí stavy a vybírat optimální akce předem.
• Flexibilita — při změně prostředí stačí aktualizovat model, nikoli celou strategii znovu trénovat.

Nicméně, implementace modelově založeného RL je složitější, protože vyžaduje přesné vytvoření modelu prostředí, což není vždy možné.

Příklad: v hře může agent využít fyzikální model k simulaci tahů a výběru nejlepší strategie, místo toho, aby zkoušel všechny akce přímo v reálné hře.