Hoe beperk je het aantal stappen van de agent zodat hij niet in een lus terechtkomt?

Om het aantal stappen van de agent te beperken en eindeloze lussen te voorkomen, wordt meestal een maximale hoeveelheid iteraties of acties ingesteld die de agent in één episode kan uitvoeren. Dit kan worden geïmplementeerd door een staptel, die bij elke actie wordt verhoogd, en de uitvoering wordt gestopt wanneer de teller het ingestelde limiet bereikt.

Het is ook nuttig om time-outs of tijdslimieten te gebruiken, zodat de agent niet vastloopt in een oneindige lus. In sommige gevallen kunnen stopcriteria worden toegevoegd op basis van het bereiken van een doel of het ontbreken van vooruitgang.

Voorbeeld in Python:

max_steps = 100
steps = 0
while not done and steps < max_steps:
    action = agent.act(state)
    state, reward, done = env.step(action)
    steps += 1