CTC itkisi nədir və ASR-də harada tətbiq olunur?

Əlaqələndirilmiş Zamanlı Sinifləndirmə (CTC) itkisi, giriş və çıxış ardıcıllıqlarını hizalanmadan proqnoz edən modellərin öyrədilməsi üçün istifadə olunan itki funksiyasıdır, məsələn, nitq tanıma (ASR) tapşırıqlarında.

ASR-də əsas problem, giriş səs siqnalının uzunluğu və mətn transkripsiyasının uzunluğunun uyğun olmaması və aralarındakı hizalanmanın məlum olmamasıdır. CTC, modeli açıq hizalama olmadan öyrənməyə imkan verir və giriş çərçivələri ilə çıxış simvolları arasındakı bütün mümkün uyğunlaşmaları avtomatik olaraq nəzərə alır.

CTC necə işləyir:

• Model hər zaman addımında simvollar üçün ehtimal paylaması proqnozlaşdırır (xüsusi "blank" — boş simvol daxil olmaqla).
• CTC, boş simvollar və təkrarlamalardan sonra hədəf ardıcıllığa endirilə bilən bütün mümkün yolları toplayaraq düzgün ardıcıllığın ehtimalını hesablayır.
• Itki funksiyası bu ehtimalın mənfi logaritmidir.

ASR-də tətbiqi:

• RNN, LSTM, Transformer kimi modellərin səsdən mətbəə çevrilməsi üçün öyrədilməsi.
• Səs və mətn arasında dəqiq hizalama tələb etmədən işləməyə imkan verir.

Nümunə: model boş simvollar və təkrarlamalar ilə simvol ardıcıllığını proqnozlaşdırırsa, CTC bütün yolları toplayır və bunlar hədəf transkripsiyaya uyğundur.

Bu şəkildə, CTC itkisi, xüsusən səs və mətn arasındakı hizalama məlum deyilsə və ya əldə etmək çətindirsə, avtomatik nitq tanıma sistemlərinin öyrədilməsi üçün əsas komponentdir.