Ինչ է մոդելային հիմնված RL-ը և ինչու է այն առավել է մոդել-ազատից?

Մոդելային հիմնված ամրապնդման ուսուցում (RL) — դա մոտեցում է, որտեղ գործակալը կառուցում կամ օգտագործում է շրջակա միջավայրի (փոխանցման մոդել) մոդելը՝ կանխատեսելու իր գործողությունների հետևանքները։ Սա թույլ է տալիս պլանավորել և ընդունել որոշումներ՝ օգտագործելով մոդելի ներսում սիմուլյացիաներ։

Մոդել-ազատ RL-ից տարբեր՝ որտեղ գործակալը սովորում է ուղղակիորեն շրջակա միջավայրի հետ փոխազդեցության փորձից առանց բացահայտ մոդելի, մոդելային հիմնված RL-ը օգտագործում է մոդելը ավելի արդյունավետ ուսուցման համար։

Մոդելային հիմնված RL-ի առավելությունները՝

• Բարձր նմուշառման արդյունավետություն — գործակալը կարող է ավելի արագ սովորել, քանի որ օգտագործում է մոդելը լրացուցիչ տվյալներ ստեղծելու և պլանավորելու համար։
• Պլանավորման հնարավորություն — կարող է կանխատեսել ապագա վիճակները և նախապես ընտրել օպտիմալ գործողությունները։
• Բազմակողմանիություն — շրջակա միջավայրի փոփոխության դեպքում, բավարար է թարմացնել մոդելը, ոչ թե ամբողջ ռազմավարությունը։

Սակայն, մոդելային հիմնված RL-ը ավելի բարդ է իրականացնել, քանի որ պահանջում է շրջակա միջավայրի ճշգրիտ մոդել կառուցել, ինչը միշտ չէ, որ հնարավոր է։

Օրինակ՝ խաղում, գործակալը կարող է օգտագործել ֆիզիկայի մոդել՝ շարժումները սիմուլյացիայի ենթարկելու և լավագույն ռազմավարությունը ընտրելու համար, փոխարենը փորձել բոլոր գործողությունները ուղղակիորեն իրական խաղում։