Kas ir AudioLM un kāds ir prompted audio generation pieeja?

AudioLM ir irmācības mašīnmodes, kas izstrādāts, lai ģenerētu audio, tostarp runu un mūziku, ar augstu kvalitāti un ilgtermiņa saskaņotību. Tas izmanto prompted audio generation pieeju, kurā audio ģenerācija notiek, pamatojoties uz dotu audio promptu (īsā fragmentā vai aprakstā), kas kalpo kā konteksts turpinājumam vai jauna audio radīšanai.

AudioLM galvenās idejas:

• Modelis māca prognozēt audio tokenu secības, kas ļauj tam radīt gludus un dabiskus skaņus.
• Tas izmanto hierarhisku struktūru, kas ņem vērā gan īstermiņa, gan ilgtermiņa atkarības audio.
• Tas ļauj radīt reālistiski skanošu audio, kas saglabā sākotnējā prompta stilu vai intonāciju.

Piemērs: ievada īsa runas frāze, un modelis ģenerē turpinājumu, saglabājot runātāja balsi un intonāciju.

Tādējādi prompted audio generation ir metode, kurā audio ģenerācija sākas ar ieejas signālu (promptu), un AudioLM ir viens no mūsdienu modeļiem, kas īsteno šo pieeju augstas kvalitātes audio radīšanai.