Vocoder (HiFi-GAN, WaveNet) nədir?

Vocoder (vocoder) — bu model və ya algoritmdir ki, səsin təqdimatını (məsələn, spektrogramma və ya nitq parametrləri) yenidən audio siqnalına çevirir. HiFi-GAN və WaveNet kontekstində — bunlar neyron şəbəkə vocoderlərdir və aralıq xüsusiyyətlərdən yüksək keyfiyyətli nitq və ya audio yaradırlar.

• WaveNet — avtokorrelyasiya modeli olub, hər bir növbəti nümunəni əvvəlkilərə əsaslanaraq proqnozlaşdıraraq yüksək dəqiqliklə audio siqnalı yaradır. Təbii səslənmə təmin edir, lakin əhəmiyyətli hesablama resursları tələb edir.

• HiFi-GAN — generativ adversarial şəbəkə (GAN) olub, sürətlə yüksək keyfiyyətli audio sintez edir və təbii və detalları qoruyur. WaveNet-dən çox daha sürətli işləyir, bu isə real vaxt üçün vacibdir.

Hər iki model nitq sintezi sistemlərində (TTS), audio keyfiyyətinin yaxşılaşdırılmasında və digər səs yaradılması ilə əlaqəli tapşırıqlarda geniş istifadə olunur.