Τι είναι ο νευρωνικός κωδικοποιητής (Encodec, SoundStream);

Το neural codec είναι ένα μοντέλο νευρωνικού δικτύου για τη συμπίεση και την αποκατάσταση σημάτων ήχου, όπως ομιλία ή μουσική. Σε αντίθεση με τους παραδοσιακούς κωδικοποιητές ήχου, το neural codec εκπαιδεύεται σε μεγάλα δεδομένα και μπορεί να κωδικοποιεί αποτελεσματικά τον ήχο με υψηλό βαθμό συμπίεσης και ποιότητας.

Το Encodec και το SoundStream είναι παραδείγματα τέτοιων μοντέλων. Χρησιμοποιούν έναν κωδικοποιητή για τη μετατροπή του ήχου σε μια συμπαγή αναπαράσταση (κώδικα), και έναν αποκωδικοποιητή για την αποκατάσταση του ήχου από αυτόν τον κώδικα. Χρησιμοποιούνται συχνά σε εργασίες μετάδοσης ήχου σε δίκτυα με χαμηλή καθυστέρηση και σε συστήματα σύνθεσης ομιλίας.

Η διαδικασία γενικά είναι η εξής:

• Ο κωδικοποιητής λαμβάνει το σήμα ήχου και το μετατρέπει σε μια χαμηλής διάστασης αναπαράσταση.
• Αυτή η αναπαράσταση μεταδίδεται ή αποθηκεύεται.
• Ο αποκωδικοποιητής αποκαθιστά τον ήχο από αυτήν την αναπαράσταση.

Τέτοιοι κωδικοποιητές μπορούν να λειτουργούν με διαφορετικά ρυθμούς bit και να προσαρμόζονται στην ποιότητα και τη χωρητικότητα του καναλιού.