Какво е AudioLM и какъв е подходът prompted audio generation?

AudioLM е модел за машинно обучение, разработен за генериране на аудио, включително реч и музика, с високо качество и дългосрочна когерентност. Той използва подход prompted audio generation, при който генерирането на аудио се основава на даден аудио промпт (кратък фрагмент или описание), който служи като контекст за продължаване или създаване на ново аудио.

Основни идеи на AudioLM:

• Моделът се обучава да предсказва последователности от аудио токени, което му позволява да генерира плавни и естествени звуци.
• Използва йерархична структура, която взема предвид както краткосрочните, така и дългосрочните зависимости в аудиото.
• Позволява създаването на аудио, което звучи реалистично и запазва стила или интонацията на оригиналния промпт.

Пример за приложение: въвежда се кратка речева фраза, и моделът генерира продължение, запазвайки гласа и интонацията на говорещия.

Така prompted audio generation е метод, при който генерирането на аудио започва с входен сигнал (промпт), а AudioLM е един от съвременните модели, реализиращи този подход за висококачествено аудио.