Ce este un codec neural (Encodec, SoundStream)?

Neural codec este un model de rețea neuronală pentru comprimarea și restaurarea semnalelor audio, cum ar fi vorbirea sau muzica. Spre deosebire de codecurile audio tradiționale, neural codec este antrenat pe seturi mari de date și poate codifica audio eficient cu un nivel înalt de compresie și calitate.

Encodec și SoundStream sunt exemple ale acestor modele. Ele utilizează un encoder pentru a transforma audio în o reprezentare compactă (cod), și un decoder pentru a restaura sunetul din acest cod. Sunt frecvent utilizate în sarcini de transmitere audio prin rețea cu latență scăzută și în sisteme de sinteză vocală.

Procesul este în general următorul:

• Encoderul primește semnalul audio și îl transformă într-o reprezentare de dimensiune redusă.
• Această reprezentare este transmisă sau stocată.
• Decoderul restaurează audio din această reprezentare.

Astfel de codecuri pot lucra cu rate de biți diferite și se pot adapta la calitatea și capacitatea de bandă a canalului.