Τι είναι η απώλεια CTC και πού εφαρμόζεται στην ASR;

Η απώλεια CTC (Connectionist Temporal Classification) είναι μια λειτουργία απώλειας που χρησιμοποιείται για την εκπαίδευση μοντέλων που προβλέπουν ακολουθίες με μη ευθυγραμμισμένα δεδομένα εισόδου και εξόδου, για παράδειγμα σε εργασίες αναγνώρισης ομιλίας (ASR).

Το κύριο πρόβλημα στο ASR είναι ότι το μήκος του εισερχόμενου ηχητικού σήματος και η μεταγραφή κειμένου δεν ταιριάζουν, και η ευθυγράμμιση μεταξύ τους είναι άγνωστη. Η CTC επιτρέπει στο μοντέλο να μαθαίνει χωρίς ρητή ευθυγράμμιση, λαμβάνοντας αυτόματα υπόψη όλες τις πιθανές αντιστοιχίσεις μεταξύ των πλαισίων εισόδου και των συμβόλων εξόδου.

Πώς λειτουργεί η CTC:

• Το μοντέλο προβλέπει σε κάθε χρονικό βήμα μια κατανομή πιθανοτήτων για τα σύμβολα (συμπεριλαμβανομένου ενός ειδικού συμβόλου "blank" — κενό).
• Η CTC υπολογίζει την πιθανότητα της σωστής ακολουθίας προσθέτοντας όλες τις πιθανές διαδρομές που μπορούν να μειωθούν στην επιθυμητή ακολουθία μετά την αφαίρεση των κενών συμβόλων και των επαναλήψεων.
• Η λειτουργία απώλειας είναι ο αρνητικός λογάριθμος αυτής της πιθανότητας.

Εφαρμογή στο ASR:

• Εκπαίδευση μοντέλων όπως RNN, LSTM, Transformer, για τη μετατροπή ήχου σε κείμενο.
• Επιτρέπει την αποφυγή ακριβούς ευθυγράμμισης μεταξύ ήχου και κειμένου.

Παράδειγμα: αν το μοντέλο προβλέπει μια ακολουθία συμβόλων με κενά και επαναλήψεις, η CTC συγκεντρώνει όλες τις διαδρομές που αντιστοιχούν στην επιθυμητή μεταγραφή.

Έτσι, η απώλεια CTC αποτελεί βασικό συστατικό για την εκπαίδευση συστημάτων αυτόματης αναγνώρισης ομιλίας, ειδικά όταν η ευθυγράμμιση μεταξύ ήχου και κειμένου είναι άγνωστη ή δύσκολη στην απόκτηση.