AudioLM nədir və prompted audio generation yanaşması nədir?

AudioLM — bu yüksək keyfiyyətli və uzunmüddətli koherentliklə səs və musiqi daxil olmaqla audio yaratmaq üçün hazırlanmış maşın öyrənmə modelidir. O, prompted audio generation yanaşmasını istifadə edir, burada audio istehsalı verilmiş audio prompt (qısa fraqment və ya təsvir) əsasında həyata keçirilir və bu, kontekst kimi xidmət edir və ya yeni audio yaratmaq üçün istifadə olunur.

AudioLM-in əsas fikirləri:

• Model, səs tokenlərinin ardıcıllığını əvvəlcədən proqnozlaşdırmağı öyrənir, bu da ona hamar və təbii səslər yaratmağa imkan verir.
• O, qısa və uzunmüddətli asılılıqları nəzərə alan iyerarxik strukturu istifadə edir.
• Realistik səslər yarada və orijinal promptun üslubu və ya intonasiyasını saxlaya bilir.

Tətbiq nümunəsi: qısa danışıq ifadəsi daxil edilir və model, səs və intonasiyanı qoruyaraq davamını yaradır.

Beləliklə, prompted audio generation — bu, audio istehsalına giriş siqnalı (prompt) ilə başlayan bir metoddur və AudioLM bu yanaşmanı yüksək keyfiyyətli audio üçün həyata keçirən müasir modellərdən biridir.