Čo je AudioLM a aký je prístup prompted audio generation?

AudioLM je model strojového učenia vyvinutý na generovanie audia, vrátane reči a hudby, s vysokou kvalitou a dlhodobou koherenciou. Používa prístup prompted audio generation, pri ktorom generovanie audia prebieha na základe daného audio promptu (krátkeho fragmentu alebo popisu), ktorý slúži ako kontext pre pokračovanie alebo tvorbu nového audia.

Hlavné myšlienky AudioLM:

• Model sa učí predpovedať sekvencie audio tokenov, čo mu umožňuje generovať plynulé a prirodzené zvuky.
• Používa hierarchickú štruktúru, ktorá zohľadňuje ako krátkodobé, tak dlhodobé závislosti v audiu.
• Umožňuje vytvárať realisticky znejúce audio, ktoré zachováva štýl alebo intonáciu pôvodného promptu.

Príklad použitia: zadajú sa krátke rečové frázy a model generuje pokračovanie, zachovávajúce hlas a intonáciu hovoriaceho.

Teda prompted audio generation je metóda, pri ktorej začína generovanie audia s nejakým vstupným signálom (promptom), a AudioLM je jedným z moderných modelov, ktoré túto prístup realizujú pre vysokokvalitné audio.