Co je AudioLM a jaký je přístup prompted audio generation?

AudioLM je model strojového učení vyvinutý pro generování audia, včetně řeči a hudby, s vysokou kvalitou a dlouhodobou koherencí. Používá přístup prompted audio generation, kdy generace audia probíhá na základě daného audio promptu (krátkého fragmentu nebo popisu), který slouží jako kontext pro pokračování nebo tvorbu nového audia.

Hlavní myšlenky AudioLM:

• Model se učí předpovídat sekvence audio tokenů, což mu umožňuje generovat plynulé a přirozené zvuky.
• Používá hierarchickou strukturu, která zohledňuje jak krátkodobé, tak dlouhodobé závislosti v audiu.
• Umožňuje vytvářet realisticky znějící audio, které zachovává styl nebo intonaci původního promptu.

Příklad použití: zadá se krátká řečová fráze a model vygeneruje pokračování, zachovávající hlas a intonaci mluvčího.

Tedy prompted audio generation je metoda, při které začíná generování audia s nějakým vstupním signálem (promptem), a AudioLM je jedním z moderních modelů, které tento přístup realizují pro vysoce kvalitní audio.