Mis on vocoder (HiFi-GAN, WaveNet)?

Vocoder (vocoder) on mudel või algoritm, mis muundab heliesituse (näiteks spektrogrammi või kõneparameetreid) tagasi helisignaaliks. HiFi-GAN ja WaveNet kontekstis on need närvivokooderid, mis genereerivad kõrgekvaliteedilist kõne või heli vaheparameetritest.

• WaveNet: on autoregressiivne mudel, mis genereerib helisignaali suure täpsusega, ennustades iga järgmist prooviväärtust eelnevate põhjal. Tagab loomuliku kõla, kuid nõuab märkimisväärseid arvutusressursse.

• HiFi-GAN: on generatiivne vastandvõrk (GAN), mis sünteesib kiiresti kõrgekvaliteedilist heli, säilitades loomulikkuse ja detailid. Töötleb palju kiiremini kui WaveNet, mis on oluline reaalajas.

Mõlemat mudelit kasutatakse laialdaselt kõnesünteesi süsteemides (TTS), helikvaliteedi parandamisel ja muudes heligeneraatoriga seotud ülesannetes.