Πες μου για το tabular Q-learning. Πότε σταματάει να λειτουργεί;

Η tabular Q-learning είναι ένας κλασικός αλγόριθμος ενίσχυσης μάθησης, στον οποίο οι τιμές της λειτουργίας Q (η ποιότητα της ενέργειας σε μια κατάσταση) αποθηκεύονται σε μορφή πίνακα. Κάθε κελί του πίνακα αντιστοιχεί σε ένα ζεύγος (κατάσταση, ενέργεια) και περιέχει μια εκτίμηση της αναμενόμενης ανταμοιβής.

Ο αλγόριθμος ενημερώνει τις τιμές Q σύμφωνα με τον τύπο:

[ Q(s,a) \leftarrow Q(s,a) + \alpha \bigl(r + \gamma \max_{a'} Q(s',a') - Q(s,a)\bigr) ]

όπου:

• (s) — τρέχουσα κατάσταση,
• (a) — επιλεγμένη ενέργεια,
• (r) — ληφθείσα ανταμοιβή,
• (s') — επόμενη κατάσταση,
• (\alpha) — ρυθμός μάθησης,
• (\gamma) — συντελεστής έκπτωσης.

Πότε σταματάει να λειτουργεί το tabular Q-learning;

• Μεγάλοι ή συνεχείς χώροι καταστάσεων και ενεργειών. Ο πίνακας γίνεται πολύ μεγάλος ή άπειρος, καθιστώντας αδύνατη την αποθήκευση και την ενημέρωση.
• Υψηλή διαστατικότητα καταστάσεων (κατάρα της διαστατικότητας). Ο αριθμός των ζευγών (κατάσταση, ενέργεια) αυξάνεται εκθετικά, οδηγώντας σε αργή μάθηση και μεγάλο κόστος μνήμης.
• Αδυναμία γενίκευσης. Η μέθοδος πίνακα δεν μπορεί να γενικεύσει γνώσεις μεταξύ παρόμοιων καταστάσεων, σε αντίθεση με μεθόδους με προσεγγιστικές λειτουργίες (π.χ., νευρωνικά δίκτυα).

Σε τέτοιες περιπτώσεις, χρησιμοποιούνται προσεγγιστές της λειτουργίας Q (Deep Q-learning και άλλοι), που μπορούν να δουλέψουν με συνεχείς και υψηλής διαστατικότητας χώρους.