Wat is een neurale codec (Encodec, SoundStream)?

Neural codec is een neuraal netwerkmodel voor het comprimeren en herstellen van audiosignalen, zoals spraak of muziek. In tegenstelling tot traditionele audio-codecs wordt neural codec getraind op grote datasets en kan het audio efficiënt coderen met een hoog compressiepercentage en kwaliteit.

Encodec en SoundStream zijn voorbeelden van dergelijke modellen. Ze gebruiken een encoder om audio om te zetten in een compacte representatie (code), en een decoder om het geluid uit deze code te herstellen. Ze worden vaak gebruikt bij het verzenden van audio via netwerken met lage latentie en in spraak-synthesesystemen.

Het proces ziet er meestal zo uit:

• De encoder ontvangt het audiosignaal en zet het om in een laag-dimensionale representatie.
• Deze representatie wordt verzonden of opgeslagen.
• De decoder herstelt het audio uit deze representatie.

Deze codecs kunnen werken met verschillende bitrates en zich aanpassen aan de kwaliteit en bandbreedte van het kanaal.