Neural codec (Encodec, SoundStream) nədir?

Neural codec — bu səs siqnallarını sıxışdırmaq və bərpa etmək üçün neyron şəbəkə modelidir. Ənənəvi audio kodeklərdən fərqli olaraq, neural codec böyük məlumatlar üzərində öyrədilir və yüksək sıxışdırma və keyfiyyət ilə səs kodlaşdırmağı effektiv edə bilər.

Encodec və SoundStream bu cür modellərin nümunələridir. Onlar səsi kompakt təmsilata (kod) çevirmək üçün encoder istifadə edir və bu koddan səsi bərpa etmək üçün decoder istifadə edir. Bu, aşağı gecikməli şəbəkə vasitəsilə səs ötürmə və nitq sintezi sistemlərində tez-tez istifadə olunur.

Əsasən proses belə görünür:

• Encoder səs siqnalını qəbul edir və onu aşağı ölçülü təmsilata çevirir.
• Bu təmsilat ötürülür və ya saxlanılır.
• Decoder bu təmsilatdan səsi bərpa edir.

Belə kodeklər müxtəlif bit dərəcələri ilə işləyə bilər və kanalın keyfiyyətinə və ötürmə qabiliyyətinə uyğunlaşa bilər.