Τι είναι ένας vocoder (HiFi-GAN, WaveNet);

Vocoder (vocoder) είναι ένα μοντέλο ή αλγόριθμος που μετατρέπει την αναπαράσταση ήχου (π.χ. φασματογράφημα ή παραμέτρους ομιλίας) πίσω σε σήμα ήχου. Στο πλαίσιο του HiFi-GAN και WaveNet, είναι νευρωνικά vocoders που παράγουν υψηλής ποιότητας ομιλία ή ήχο από ενδιάμεσες χαρακτηριστικές.

• WaveNet: είναι ένα αυτοπαραγωγικό μοντέλο που δημιουργεί σήμα ήχου με υψηλή ακρίβεια, προβλέποντας κάθε επόμενο δείγμα με βάση τα προηγούμενα. Παρέχει φυσικό ήχο, αλλά απαιτεί σημαντικούς υπολογιστικούς πόρους.

• HiFi-GAN: είναι ένα γενετικό αντίπαλο δίκτυο (GAN) που συνθέτει γρήγορα ήχο υψηλής ποιότητας, διατηρώντας φυσικότητα και λεπτομέρειες. Λειτουργεί πολύ πιο γρήγορα από το WaveNet, κάτι που είναι σημαντικό για πραγματικό χρόνο.

Και τα δύο μοντέλα χρησιμοποιούνται ευρέως σε συστήματα σύνθεσης ομιλίας (TTS), βελτίωσης ποιότητας ήχου και άλλων εργασιών που σχετίζονται με τη δημιουργία ήχου.