Τι είναι το SARSA και πώς διαφέρει από το Q-learning;

SARSA (Κράτος-Ενέργεια-Αμοιβή-Κράτος-Ενέργεια) και Q-learning είναι αλγόριθμοι ενίσχυσης που χρησιμοποιούν τη λειτουργία Q για την αξιολόγηση της ποιότητας των ενεργειών σε καταστάσεις, αλλά διαφέρουν στον τρόπο ενημέρωσης των τιμών Q.

Βασική διαφορά:

• Στο SARSA, η ενημέρωση της τιμής Q βασίζεται στην ενέργεια που επέλεξε πραγματικά ο πράκτορας στην επόμενη κατάσταση (δηλαδή, πολιτική on-policy). Ο τύπος ενημέρωσης:

  [ Q(s,a) \leftarrow Q(s,a) + \alpha \big(r + \gamma Q(s', a') - Q(s,a)\big) ]

  όπου (a') είναι η ενέργεια που επιλέγεται σύμφωνα με την τρέχουσα πολιτική στην κατάσταση (s').

• Στο Q-learning, η ενημέρωση γίνεται με βάση την μέγιστη τιμή Q μεταξύ όλων των πιθανών ενεργειών στην επόμενη κατάσταση (off-policy), ανεξάρτητα από την ενέργεια που επέλεξε ο πράκτορας. Ο τύπος:

  [ Q(s,a) \leftarrow Q(s,a) + \alpha \big(r + \gamma \max_{a'} Q(s', a') - Q(s,a)]

Περίληψη:

• Το SARSA λαμβάνει υπόψη την πολιτική του πράκτορα κατά την ενημέρωση (ενημερώνει τις τιμές Q σύμφωνα με το πώς ενεργεί πραγματικά ο πράκτορας).
• Το Q-learning επιδιώκει την βέλτιστη πολιτική, ενημερώνοντας τις τιμές Q με βάση το μέγιστο, ακόμη και αν ο πράκτορας ενεργεί διαφορετικά.

Αυτό μπορεί να κάνει το SARSA πιο συντηρητικό και να λαμβάνει υπόψη τον κίνδυνο, ενώ το Q-learning είναι πιο επιθετικό στην αναζήτηση της βέλτιστης στρατηγικής.