Что такое AudioLM и подход prompted audio generation?

AudioLM — это модель машинного обучения, разработанная для генерации аудио, включая речь и музыку, с высоким качеством и длительной когерентностью. Она использует подход prompted audio generation, где генерация аудио происходит на основе заданного аудио-промпта (короткого фрагмента или описания), который служит контекстом для продолжения или создания нового аудио.

Основные идеи AudioLM:

• Модель обучается предсказывать последовательности аудио-токенов, что позволяет ей генерировать плавные и естественные звуки.
• Использует иерархическую структуру, которая учитывает как краткосрочные, так и долгосрочные зависимости в аудио.
• Позволяет создавать аудио, которое звучит реалистично и сохраняет стиль или интонацию исходного промпта.

Пример применения: на вход подается короткая фраза речи, и модель генерирует продолжение, сохраняя голос и интонацию говорящего.

Таким образом, prompted audio generation — это метод, при котором генерация аудио начинается с некоторого входного сигнала (промпта), а AudioLM — одна из современных моделей, реализующих этот подход для высококачественного аудио.