Τι είναι το policy gradient και ποιο είναι το θεώρημα του policy gradient;

Ο Policy Gradient είναι μια κατηγορία μεθόδων στη μάθηση ενίσχυσης που βελτιστοποιούν άμεσα τη διαμορφωμένη στρατηγική (πολιτική) χρησιμοποιώντας την κατιούσα του βαθμίδα.

Αντί να αξιολογούν τη λειτουργία αξίας, οι μέθοδοι του policy gradient ενημερώνουν τις παραμέτρους της πολιτικής ώστε να αυξήσουν την αναμενόμενη ανταμοιβή.

Το Θεώρημα του Policy Gradient εκφράζει επίσημα το βαθμίδα της αναμενόμενης ανταμοιβής σε σχέση με τις παραμέτρους της πολιτικής:

[ \nabla_\theta J(\theta) = \mathbb{E}{\pi\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) Q^{\pi_\theta}(s,a) \right] ]

όπου:

• (J(\theta)) — η αναμενόμενη ανταμοιβή με την πολιτική με παραμέτρους (\theta)
• (\pi_\theta(a|s)) — η πιθανότητα της ενέργειας (a) στην κατάσταση (s)
• (Q^{\pi_\theta}(s,a)) — η λειτουργία αξίας της ενέργειας

Αυτή η έκφραση επιτρέπει την εκτίμηση του βαθμίδα με τη βοήθεια δειγμάτων από το περιβάλλον και την ενημέρωση των παραμέτρων της πολιτικής προς την κατεύθυνση αύξησης της ανταμοιβής.

Παράδειγμα μιας απλής ενημέρωσης παραμέτρων:

# ψευδο-κώδικας
για κάθε επεισόδιο:
    συλλέξτε την τροχιά χρησιμοποιώντας την πολιτική pi_theta
    για κάθε (s, a, ανταμοιβή) στην τροχιά:
        grad = grad + grad_log_pi_theta(a|s) * ανταμοιβή
    theta = theta + ρυθμός_μάθησης * grad

Οι μέθοδοι του policy gradient χρησιμοποιούνται ευρέως για την εκπαίδευση πολύπλοκων στρατηγικών, ειδικά όταν ο χώρος ενεργειών είναι συνεχής ή η πολιτική πρέπει να είναι στοχαστική.