CTC kaybı nedir ve ASR'de nerede kullanılır?

Bağlantısal Zamansal Sınıflandırma (CTC) kaybı, giriş ve çıkış dizilerini hizalamadan tahmin eden modellerin eğitimi için kullanılan bir kayıp fonksiyonudur, örneğin konuşma tanıma (ASR) görevlerinde.

ASR'deki temel sorun, giriş ses sinyalinin uzunluğu ile metin transkripsiyonunun uzunluğunun uyuşmaması ve aralarındaki hizalamanın bilinmemesidir. CTC, modeli açık bir hizalama olmadan öğrenmesine olanak tanır ve giriş çerçeveleri ile çıkış sembolleri arasındaki tüm olası eşleştirmeleri otomatik olarak dikkate alır.

CTC nasıl çalışır:

• Model, her zaman adımında semboller (özellikle "blank" — boş) için olasılık dağılımı tahmin eder.
• CTC, boş sembollerin ve tekrarların kaldırılmasından sonra hedef dizisine indirgenebilecek tüm olası yolları toplayarak doğru dizinin olasılığını hesaplar.
• Kayıp fonksiyonu, bu olasılığın negatif logaritmasıdır.

ASR'de uygulama:

• RNN, LSTM, Transformer gibi modellerin eğitimi, sesin metne dönüştürülmesi.
• Ses ve metin arasında kesin hizalama gerektirmeden çalışmayı sağlar.

Örnek: model, boş semboller ve tekrarlar içeren bir sembol dizisi tahmin ediyorsa, CTC tüm yolları toplar ve bunlar hedef transkripte karşılık gelir.

Bu şekilde, CTC kaybı, özellikle ses ve metin arasındaki hizalama bilinmiyorsa veya zor elde ediliyorsa, otomatik konuşma tanıma sistemlerinin eğitimi için anahtar bir bileşendir.