Ce este pierderea CTC și unde este aplicată în ASR?

Pierderea CTC (Connectionist Temporal Classification) este o funcție de pierdere utilizată pentru antrenarea modelelor care prezic secvențe cu date de intrare și ieșire nealiniate, de exemplu, în sarcinile de recunoaștere vocală (ASR).

Problema principală în ASR este că lungimea semnalului audio de intrare și a transcripției text nu coincid, iar alinierea dintre ele este necunoscută. CTC permite modelului să învețe fără o aliniere explicită, luând în considerare automat toate variantele posibile de corespondență între cadrele de intrare și simbolurile de ieșire.

Cum funcționează CTC:

• Modelul prezice la fiecare pas temporal o distribuție de probabilități asupra simbolurilor (inclusiv un simbol special "blank" — gol).
• CTC calculează probabilitatea secvenței corecte sumând toate căile posibile care pot fi reduse la secvența țintă după eliminarea simbolurilor goale și a repetărilor.
• Funcția de pierdere este logaritmul negativ al acestei probabilități.

Aplicare în ASR:

• Antrenarea modelelor precum RNN, LSTM, Transformer, pentru a converti audio în text.
• Permite să nu fie necesară o aliniere precisă între audio și text.

Exemplu: dacă modelul prezice o secvență de simboluri cu simboluri goale și repetări, CTC agregă toate căile care corespund transcripției țintă.

Astfel, pierderea CTC este o componentă cheie pentru antrenarea sistemelor automate de recunoaștere vocală, mai ales atunci când alinierea între audio și text nu este cunoscută sau este dificil de obținut.