Kas yra CTC nuostolis ir kur jis taikomas ASR?

Susijusio laiko klasifikacija (CTC) nuostolių funkcija, naudojama mokyti modelius, kurie prognozuoja sekas su nesutampančiais įvesties ir išvesties duomenimis, pavyzdžiui, kalbos atpažinimo (ASR) užduotyse.

Pagrindinė problema ASR yra ta, kad įvesties garso signalo ilgis ir teksto transkripcijos ilgis nesutampa, ir tarp jų nėra žinomas suderinimas. CTC leidžia modeliui mokytis be aiškaus suderinimo, automatiškai atsižvelgiant į visas galimas atitikimo galimybes tarp įvesties kadrų ir išvesties simbolių.

Kaip veikia CTC:

• Modelis kiekviename laiko žingsnyje prognozuoja tikimybių pasiskirstymą simboliams (įskaitant specialų "blank" — tuščią simbolį).
• CTC apskaičiuoja teisingos sekos tikimybę, sudėdamas visas galimas kelius, kurie gali būti sumažinti iki tikslios sekos po tuščių simbolių ir pasikartojimų pašalinimo.
• Nuostolių funkcija yra neigiamas šios tikimybės logaritmas.

Taikymas ASR:

• Modelių mokymas, tokių kaip RNN, LSTM, Transformer, garso konvertavimui į tekstą.
• Leidžia nereikalauti tikslaus suderinimo tarp garso ir teksto.

Pavyzdys: jei modelis prognozuoja simbolių seką su tuščiais simboliais ir pasikartojimais, CTC sujungia visas galimas sekas, kurios atitinka tikslinį transkriptą.

Taip CTC nuostolis yra pagrindinis komponentas automatinio kalbos atpažinimo sistemų mokyme, ypač kai suderinimas tarp garso ir teksto yra nežinomas arba sunkiai pasiekiamas.