Was ist CTC-Verlust und wo wird er in der automatischen Spracherkennung (ASR) angewendet?

Der CTC (Connectionist Temporal Classification)-Verlust ist eine Verlustfunktion, die zum Trainieren von Modellen verwendet wird, die Sequenzen mit nicht ausgerichteten Eingabe- und Ausgabedaten vorhersagen, z.B. bei Spracherkennungsaufgaben (ASR).

Das Hauptproblem bei ASR ist, dass die Länge des Eingangssignals und die Transkriptionstextlänge nicht übereinstimmen und die Ausrichtung zwischen ihnen unbekannt ist. CTC ermöglicht es dem Modell, ohne eine explizite Ausrichtung zu lernen, indem alle möglichen Zuordnungen zwischen Eingabeframes und Ausgabesymbolen automatisch berücksichtigt werden.

So funktioniert CTC:

• Das Modell sagt in jedem Zeitschritt eine Wahrscheinlichkeitsverteilung über die Symbole voraus (einschließlich eines speziellen Symbols "blank" — leer).
• CTC berechnet die Wahrscheinlichkeit der korrekten Sequenz, indem alle möglichen Wege summiert werden, die nach Entfernen der leeren Symbole und Wiederholungen auf die Zielsequenz reduziert werden können.
• Die Verlustfunktion ist der negative Logarithmus dieser Wahrscheinlichkeit.

Anwendung in ASR:

• Training von Modellen wie RNN, LSTM, Transformer, um Audio in Text umzuwandeln.
• Erlaubt es, keine genaue Ausrichtung zwischen Audio und Text zu benötigen.

Beispiel: Wenn das Modell eine Sequenz von Symbolen mit leeren Symbolen und Wiederholungen vorhersagt, aggregiert CTC alle Wege, die der Zieltranskription entsprechen.

Auf diese Weise ist der CTC-Verlust ein Schlüsselelement für das Training automatischer Spracherkennungssysteme, insbesondere wenn die Ausrichtung zwischen Audio und Text unbekannt oder schwer zu erhalten ist.