Mi az a CTC veszteség, és hol alkalmazzák az ASR-ben?

A CTC (Connectionist Temporal Classification) veszteség egy veszteségfüggvény, amelyet olyan modellek tanítására használnak, amelyek nem összehangolt bemeneti és kimeneti szekvenciákat jósolnak, például beszédfelismerési (ASR) feladatokban.

Az ASR fő problémája, hogy a bemeneti hangjel hosszúsága és a szöveges átírás hossza nem egyezik meg, és a közöttük lévő összehangolás ismeretlen. A CTC lehetővé teszi a modell számára, hogy explicit összehangolás nélkül tanuljon, automatikusan figyelembe véve az összes lehetséges megfeleltetést a bemeneti keretek és a kimeneti szimbólumok között.

Hogyan működik a CTC:

• A modell minden időlépésben valószínűségi eloszlást jósol a szimbólumokra (beleértve egy speciális "üres" szimbólumot is).
• A CTC kiszámítja a helyes szekvencia valószínűségét, összeadva az összes lehetséges utat, amelyek a cél szekvenciává redukálhatók a üres szimbólumok és ismétlések eltávolítása után.
• A veszteségfüggvény ennek a valószínűségnek a negatív logaritmusa.

Alkalmazás az ASR-ben:

• Olyan modellek tanítása, mint az RNN, LSTM, Transformer, hang átalakítása szöveggé.
• Lehetővé teszi, hogy ne legyen szükség pontos összehangolásra a hang és a szöveg között.

Példa: ha a modell egy szimbólumsorozatot jósol üres szimbólumokkal és ismétlésekkel, a CTC összegzi az összes utat, amelyek megfelelnek a cél transzkripciónak.

Így a CTC veszteség kulcsfontosságú összetevő az automatikus beszédfelismerő rendszerek tanításában, különösen akkor, ha a hang és a szöveg közötti összehangolás nem ismert vagy nehéz beszerezni.