Kas yra neuroninis kodekas (Encodec, SoundStream)?

Neural codec yra neuroninės tinklo modelis, skirtas garso signalų, tokių kaip kalba ar muzika, suspaudimui ir atkūrimui. Skirtingai nuo tradicinių garso kodekų, neural codec mokosi iš didelių duomenų rinkinių ir gali efektyviai koduoti garsą su aukštu suspaudimo lygiu ir kokybe.

Encodec ir SoundStream yra tokių modelių pavyzdžiai. Jie naudoja kodavimo įrenginį, kad paverstų garsą į kompaktišką reprezentaciją (kodas), ir dekodavimo įrenginį, kad atkurtų garsą iš šio kodo. Jie dažnai naudojami mažo delsos tinklo garso perdavimui ir kalbos sintezės sistemose.

Procesas dažniausiai atrodo taip:

• Kodavimo įrenginys priima garso signalą ir paverčia jį žemo matmenų reprezentacija.
• Ši reprezentacija perduodama arba saugoma.
• Dekodavimo įrenginys atkurią garsą iš šios reprezentacijos.

Tokie kodekai gali dirbti su skirtingais bitų greičiais ir prisitaikyti prie kanalo kokybės ir pralaidumo.