AudioLM дегеніміз не және сұрау бойынша дыбыс генерациялау әдісі қандай?

AudioLM — бұл дыбыс, соның ішінде сөйлеу мен музыка, жоғары сапалы және ұзақ мерзімді когеренттілікпен генерациялауға арналған машиналық оқыту моделі. Ол prompted audio generation әдісін қолданады, мұнда дыбыс генерациясы берілген дыбыс-промптке (қысқа фрагмент немесе сипаттама) негізделеді, ол жалғастыру немесе жаңа дыбыс жасау үшін контекст ретінде қызмет етеді.

AudioLM негізгі идеялары:

• Модель дыбыс-токендердің тізбектерін болжауға үйретіледі, бұл оны тегіс және табиғи дыбыстарды генерациялауға мүмкіндік береді.
• Ол қысқа мерзімді және ұзақ мерзімді тәуелділіктерді ескере отырып, иерархиялық құрылымды пайдаланады.
• Ол реалистік дыбыс шығарып, бастапқы промпттің стилі немесе интонациясын сақтай алатын дыбыс жасауға мүмкіндік береді.

Қолдану мысалы: кіріспе ретінде сөйлеу қысқа фразасы беріледі, және модель дауыс пен интонацияны сақтай отырып, жалғасын генерациялайды.

Осылайша, prompted audio generation — бұл дыбыс генерациясы белгілі бір кіріс сигналынан (промпт) басталатын әдіс, ал AudioLM — бұл жоғары сапалы дыбыс үшін осы тәсілді жүзеге асыратын қазіргі заманғы модельдердің бірі.