Что такое source separation (Demucs, Spleeter)?

Source separation — это задача в области обработки аудио, направленная на разделение смешанного аудиосигнала на отдельные компоненты или источники звука. Например, из песни выделить отдельно вокал, бас, ударные и другие инструменты.

Demucs и Spleeter — это современные модели и инструменты для source separation, основанные на глубоких нейронных сетях. Они обучены на больших наборах данных для того, чтобы эффективно разделять аудиодорожки на составляющие.

Применение:

• Создание караоке (удаление вокала).
• Ремиксы и музыкальное производство.
• Анализ и распознавание музыки.

Технически, эти модели принимают на вход смешанный аудиосигнал и выдают несколько аудиодорожек, каждая из которых соответствует отдельному источнику звука. Они используют архитектуры, такие как сверточные и рекуррентные нейронные сети, а также трансформеры, для анализа временных и частотных характеристик звука.