Mi az a neurális kodek (Encodec, SoundStream)?

A Neural codec egy idegháló modell az audiójelek, például beszéd vagy zene tömörítésére és helyreállítására. A hagyományos audiókodekektől eltérően a neural codec nagy adathalmazokon tanul, és hatékonyan képes kódolni az audiót magas tömörítési aránnyal és minőséggel.

Az Encodec és a SoundStream példák ilyen modellekre. Encoder-t használnak az audió kompakt reprezentációvá (kód) alakítására, míg decoder-t a hang helyreállítására ebből a kódból. Gyakran alkalmazzák alacsony késleltetésű hálózati audióátvitelhez és beszédszintézis rendszerekben.

A folyamat általában így néz ki:

• Az encoder megkapja az audiójelet, és átalakítja egy alacsony dimenziós reprezentációvá.
• Ez a reprezentáció továbbítódik vagy tárolódik.
• A decoder ebből a reprezentációból helyreállítja az audiót.

Ezek a kodekek különböző bitrátákkal működhetnek, és alkalmazkodnak a csatorna minőségéhez és sávszélességéhez.