O que é transferência de estilo para áudio?

A transferência de estilo para áudio é o processo de transferir características de estilo de um sinal de áudio (por exemplo, timbre, ritmo, atmosfera acústica) para outro sinal de áudio, preservando o conteúdo ou a estrutura melódica do segundo.

Ao contrário da transferência de estilo clássica para imagens, onde o estilo visual é transferido, na áudio a tarefa é mais complexa devido à natureza temporal do sinal e à estrutura sonora complexa.

Aplicações:

• Transferência de estilo na interpretação musical (por exemplo, tocar uma melodia no estilo jazz ou rock).
• Alteração do timbre da voz, mantendo a fala.
• Criação de novos efeitos sonoros.

Tecnicamente, isso é alcançado com modelos de redes neurais que extraem e separam as representações de conteúdo e estilo do áudio, por exemplo, usando espectrogramas e métodos de aprendizagem profunda (autoencoders, GANs, transformadores).

Exemplo: um modelo recebe um espectrograma de uma melodia e um espectrograma de um áudio com o estilo desejado, e então gera um novo espectrograma que combina o conteúdo do primeiro e o estilo do segundo, depois o converte de volta em sinal de áudio.