Šta je AudioLM i koji je pristup prompted audio generation?

AudioLM је модел машинског учења развијен за генерисање аудио записа, укључујући говор и музику, са високим квалитетом и дугорочном когерентношћу. Он користи приступ prompted audio generation, где се генерисање аудио записа заснива на датом аудио промпту (кратком фрагменту или опису), који служи као контекст за наставак или стварање новог аудио записа.

Главне идеје AudioLM:

• Модел учи да предвиђа низове аудио токена, што му омогућава да генерише глатке и природне звуке.
• Користи хијерархиску структуру која узима у обзир како краткорочне, тако и дугорочне зависности у аудио запису.
• Омогућава стварање аудио записа који звуче реалистично и задржавају стил или интонацију оригиналног промпта.

Пример примене: уноси се кратка речена фраза, а модел генерише наставак, задржавајући глас и интонацију говорника.

Стога, prompted audio generation је метода у којој се генерисање аудио записа почиње са улазним сигналом (промпт), а AudioLM је један од модерних модела који реализују овај приступ за висококвалитетни аудио.