Čo je neurónový kodek (Encodec, SoundStream)?

Neural codec je model neurónovej siete určený na kompresiu a obnovu zvukových signálov, ako je reč alebo hudba. Na rozdiel od tradičných audio kodekov sa neural codec trénuje na veľkých dátach a môže efektívne kódovať zvuk s vysokým stupňom kompresie a kvality.

Encodec a SoundStream sú príklady takýchto modelov. Používajú encoder na prevod audia na kompaktnu reprezentáciu (kód) a decoder na obnovu zvuku z tohto kódu. Často sa používajú pri prenose audia cez siete s nízkou latenciou a v systémoch syntézy reči.

Proces je zvyčajne takýto:

• Encoder prijíma zvukový signál a prevádza ho na reprezentáciu s nízkym rozmerom.
• Táto reprezentácia sa prenáša alebo ukladá.
• Decoder obnoví zvuk z tejto reprezentácie.

Takéto kodeky môžu pracovať s rôznymi bitrátami a prispôsobovať sa kvalite a kapacite kanála.