Что такое neural codec (Encodec, SoundStream)?

Neural codec — это нейросетевая модель для сжатия и восстановления аудиосигналов, таких как речь или музыка. В отличие от традиционных аудиокодеков, neural codec обучается на больших данных и может эффективно кодировать аудио с высокой степенью сжатия и качеством.

Encodec и SoundStream — примеры таких моделей. Они используют энкодер для преобразования аудио в компактное представление (код), а декодер — для восстановления звука из этого кода. Часто применяются в задачах передачи аудио по сети с низкой задержкой и в системах синтеза речи.

Примерно процесс выглядит так:

• Энкодер принимает аудиосигнал и преобразует его в низкоразмерное представление.
• Это представление передаётся или хранится.
• Декодер восстанавливает аудио из этого представления.

Такие кодеки могут работать с разными битрейтами и адаптироваться под качество и пропускную способность канала.