Kas yra vocoder (HiFi-GAN, WaveNet)?

Vocoderis (vocoder) yra modelis arba algoritmas, kuris paverčia garso reprezentaciją (pavyzdžiui, spektrogramą arba kalbos parametrus) atgal į garso signalą. HiFi-GAN ir WaveNet kontekste tai yra neuroniniai vocoderiai, kurie generuoja aukštos kokybės kalbą arba garsą iš tarpinės žymės.

• WaveNet: yra autoregresinis modelis, kuris generuoja garso signalą su aukštu tikslumu, prognozuodamas kiekvieną sekantį pavyzdį remiantis ankstesniais. Užtikrina natūralų skambesį, tačiau reikalauja reikšmingų skaičiavimo išteklių.

• HiFi-GAN: yra generatyvinė priešpriešinių tinklų (GAN) sistema, kuri greitai sintetina aukštos kokybės garsą, išlaikydama natūralumą ir detales. Veikia žymiai greičiau nei WaveNet, kas yra svarbu realiu laiku.

Abu modeliai plačiai naudojami kalbos sintezės sistemose (TTS), garso kokybės gerinimui ir kitose garso generavimo užduotyse.