Kas ir CTC zaudējums un kur tas tiek izmantots ASR?

Saistītās laika klasifikācijas (CTC) zaudējumu funkcija ir zaudējumu funkcija, kas tiek izmantota modeļu apmācībai, kas prognozē secības ar nesaskaņotiem ievades un izejas datiem, piemēram, runas atpazīšanas (ASR) uzdevumos.

Galvenā problēma ASR ir tā, ka ievades skaņas signāla garums un teksta transkripcijas garums nesakrīt, un starp tiem nav zināmas saskaņošanas. CTC ļauj modelim mācīties bez skaidras saskaņošanas, automātiski ņemot vērā visas iespējamās atbilstības starp ievades kadriem un izejas simboliem.

Kā darbojas CTC:

• Modelis katrā laika solī prognozē varbūtības sadalījumu simboliem (ieskaitot īpašo "blank" — tukšo simbolu).
• CTC aprēķina pareizas secības varbūtību, summējot visas iespējamās ceļus, kas var tikt samazināti līdz mērķa secībai pēc tukšo simbolu un atkārtojumu noņemšanas.
• Zaudējumu funkcija ir negatīvais šo varbūtību logaritms.

Pielietojums ASR:

• Modeļu apmācība, piemēram, RNN, LSTM, Transformer, skaņas pārvēršanai tekstā.
• Atļauj izvairīties no precīzas saskaņošanas starp skaņu un tekstu.

Piemērs: ja modelis prognozē simbolu secību ar tukšiem simboliem un atkārtojumiem, CTC apvieno visas ceļus, kas atbilst mērķa transkripcijai.

Tādējādi, CTC zaudējums ir galvenā sastāvdaļa automātiskās runas atpazīšanas sistēmu apmācībā, īpaši, ja starp skaņu un tekstu nav zināma vai grūti pieejama saskaņošana.