Czym jest AudioLM i na czym polega podejście prompted do generowania dźwięku?

AudioLM to model uczenia maszynowego opracowany do generowania dźwięku, w tym mowy i muzyki, o wysokiej jakości i długotrwałej spójności. Używa podejścia prompted audio generation, w którym generacja dźwięku opiera się na podanym prompt audio (krótkim fragmencie lub opisie), który służy jako kontekst do kontynuacji lub tworzenia nowego dźwięku.

Główne idee AudioLM:

• Model uczy się przewidywać sekwencje tokenów audio, co pozwala mu generować płynne i naturalne dźwięki.
• Używa hierarchicznej struktury, która uwzględnia zarówno krótkoterminowe, jak i długoterminowe zależności w audio.
• Pozwala na tworzenie audio, które brzmi realistycznie i zachowuje styl lub intonację oryginalnego promptu.

Przykład zastosowania: wprowadza się krótką frazę mowy, a model generuje kontynuację, zachowując głos i intonację mówiącego.

W związku z tym prompted audio generation to metoda, w której generacja audio zaczyna się od sygnału wejściowego (prompt), a AudioLM jest jednym z nowoczesnych modeli realizujących to podejście dla wysokiej jakości audio.