O que é um codec neural (Encodec, SoundStream)?

Neural codec é um modelo de rede neural para compressão e recuperação de sinais de áudio, como fala ou música. Ao contrário dos codecs de áudio tradicionais, o neural codec é treinado com grandes dados e pode codificar áudio de forma eficiente com alto grau de compressão e qualidade.

Encodec e SoundStream são exemplos desses modelos. Eles usam um codificador para transformar o áudio em uma representação compacta (código), e um decodificador para restaurar o som a partir desse código. São frequentemente utilizados em tarefas de transmissão de áudio em rede com baixa latência e em sistemas de síntese de fala.

O processo geralmente é assim:

• O codificador recebe o sinal de áudio e o transforma em uma representação de baixa dimensão.
• Essa representação é transmitida ou armazenada.
• O decodificador restaura o áudio a partir dessa representação.

Esses codecs podem trabalhar com diferentes taxas de bits e se adaptar à qualidade e capacidade de transmissão do canal.