Ce este AudioLM și care este abordarea generării audio prompted?

AudioLM este un model de învățare automată dezvoltat pentru a genera audio, inclusiv vorbire și muzică, cu o calitate înaltă și coerență pe termen lung. Folosește o abordare de generare audio prompting, în care generarea audio se bazează pe un prompt audio dat (un fragment scurt sau o descriere), care servește ca context pentru continuare sau creare de audio nou.

Idei principale ale AudioLM:

• Modelul învață să prezică secvențe de tokeni audio, ceea ce îi permite să genereze sunete fluide și naturale.
• Utilizează o structură ierarhică care ia în considerare dependențe pe termen scurt și lung în audio.
• Permite crearea de audio care sună realist și păstrează stilul sau intonația promptului original.

Exemplu de aplicare: se introduce o frază scurtă de vorbire, iar modelul generează o continuare, păstrând vocea și intonația vorbitorului.

Astfel, prompted audio generation este o metodă în care generarea audio începe cu un semnal de intrare (prompt), iar AudioLM este unul dintre modelele moderne care implementează această abordare pentru audio de înaltă calitate.