¿Qué es AudioLM y qué es el enfoque de generación de audio prompted?

AudioLM es un modelo de aprendizaje automático desarrollado para generar audio, incluyendo voz y música, con alta calidad y coherencia a largo plazo. Utiliza un enfoque de generación de audio prompted, donde la generación de audio se basa en un audio prompt dado (un fragmento corto o una descripción), que sirve como contexto para continuar o crear un nuevo audio.

Ideas principales de AudioLM:

• El modelo aprende a predecir secuencias de tokens de audio, lo que le permite generar sonidos suaves y naturales.
• Utiliza una estructura jerárquica que considera dependencias tanto a corto como a largo plazo en el audio.
• Permite crear audios que suenan realistas y mantienen el estilo o la entonación del prompt original.

Ejemplo de aplicación: se ingresa una frase corta de habla, y el modelo genera una continuación, manteniendo la voz y la entonación del hablante.

Por lo tanto, la generación de audio prompted es un método en el que la generación de audio comienza con una señal de entrada (prompt), y AudioLM es uno de los modelos modernos que implementan este enfoque para audio de alta calidad.