Qu'est-ce qu'AudioLM et quelle est l'approche de génération audio prompted?

AudioLM est un modèle d'apprentissage automatique développé pour générer de l'audio, y compris la parole et la musique, avec une haute qualité et une cohérence à long terme. Il utilise une approche de génération audio prompted, où la génération d'audio se fait à partir d'un prompt audio donné (un court fragment ou une description), qui sert de contexte pour continuer ou créer un nouvel audio.

Idées principales d'AudioLM:

• Le modèle apprend à prédire des séquences de tokens audio, ce qui lui permet de générer des sons fluides et naturels.
• Il utilise une structure hiérarchique qui prend en compte à la fois les dépendances à court et à long terme dans l'audio.
• Permet de créer des audios qui semblent réalistes et conservent le style ou l'intonation du prompt original.

Exemple d'application : une phrase courte est donnée en entrée, et le modèle génère une continuation, en conservant la voix et l'intonation du locuteur.

Ainsi, la génération audio prompted est une méthode où la génération d'audio commence par un signal d'entrée (prompt), et AudioLM est l'un des modèles modernes qui mettent en œuvre cette approche pour un audio de haute qualité.