Mi az az AudioLM és mi a prompted audio generation megközelítés?

Az AudioLM egy gépi tanulási modell, amelyet hang- és zenealkotáshoz fejlesztettek ki, magas minőséggel és hosszú távú koherenciával. Egy prompted audio generation megközelítést alkalmaz, ahol a hanggenerálás egy adott audio prompt (egy rövid fragment vagy leírás) alapján történik, amely kontextusként szolgál a folytatáshoz vagy új hang létrehozásához.

Az AudioLM fő ötletei:

• A modell megtanulja előre jelezni az audio tokenek sorozatait, lehetővé téve sima és természetes hangok generálását.
• Hierarchikus struktúrát használ, amely figyelembe veszi a rövid és hosszú távú függőségeket az audio-ban.
• Lehetővé teszi realisztikus hangok létrehozását, amelyek megőrzik az eredeti prompt stílusát vagy intonációját.

Alkalmazási példa: egy rövid beszédsorozatot adnak meg, és a modell folytatást generál, megőrizve a beszélő hangját és intonációját.

Így a prompted audio generation egy olyan módszer, ahol a hanggenerálás egy bemeneti jelből (prompt) indul, és az AudioLM az egyik modern modell, amely ezt a megközelítést valósítja meg magas minőségű hangokra.