O que é AudioLM e qual é a abordagem de geração de áudio prompted?

O AudioLM é um modelo de aprendizagem automática desenvolvido para gerar áudio, incluindo fala e música, com alta qualidade e coerência a longo prazo. Ele usa uma abordagem de geração de áudio prompted, onde a geração de áudio ocorre com base em um prompt de áudio fornecido (um fragmento curto ou uma descrição), que serve como contexto para continuar ou criar um novo áudio.

Ideias principais do AudioLM:

• O modelo aprende a prever sequências de tokens de áudio, permitindo gerar sons suaves e naturais.
• Utiliza uma estrutura hierárquica que considera dependências de curto e longo prazo no áudio.
• Permite criar áudios que soam realistas e mantêm o estilo ou entonação do prompt original.

Exemplo de aplicação: uma frase curta de fala é fornecida, e o modelo gera uma continuação, mantendo a voz e a entonação do falante.

Assim, a geração de áudio prompted é um método em que a geração de áudio começa com um sinal de entrada (prompt), e o AudioLM é um dos modelos modernos que implementam essa abordagem para áudio de alta qualidade.