Wat is CTC-verlies en waar wordt het toegepast in ASR?

De CTC (Connectionist Temporal Classification) verliesfunctie is een verliesfunctie die wordt gebruikt om modellen te trainen die sequenties voorspellen met niet-uitgelijnde invoer- en uitvoergegevens, bijvoorbeeld bij spraakherkenning (ASR).

Het belangrijkste probleem bij ASR is dat de lengte van het invoersignaal en de teksttranscriptie niet overeenkomen, en dat de uitlijning tussen hen onbekend is. CTC stelt het model in staat om te leren zonder expliciete uitlijning, door automatisch alle mogelijke overeenkomsten tussen invoerframes en uitgangssymbolen te overwegen.

Hoe werkt CTC:

• Het model voorspelt bij elke tijdstap een waarschijnlijkheidsverdeling over de symbolen (inclusief een speciaal symbool "blank" — leeg).
• CTC berekent de waarschijnlijkheid van de juiste sequentie door alle mogelijke paden op te tellen die kunnen worden teruggebracht tot de doelvolgorde na het verwijderen van lege symbolen en herhalingen.
• De verliesfunctie is de negatieve logaritme van deze waarschijnlijkheid.

Toepassing in ASR:

• Training van modellen zoals RNN, LSTM, Transformer, om audio naar tekst te converteren.
• Maakt het mogelijk om geen precieze uitlijning tussen audio en tekst te vereisen.

Voorbeeld: als het model een sequentie van symbolen voorspelt met lege symbolen en herhalingen, aggregeert CTC alle paden die overeenkomen met de doeltranscriptie.

Op deze manier is CTC-verlies een essentieel onderdeel voor het trainen van automatische spraakherkenningssystemen, vooral wanneer de uitlijning tussen audio en tekst onbekend of moeilijk te verkrijgen is.