რა არის ნეირონული კოდეკი (Encodec, SoundStream)?

Neural codec — ეს არის ნეირონული ქსელის მოდელი აუდიო სიგნალების, როგორიცაა საუბარი ან მუსიკა, სიღრმის შემცირების და აღდგენისათვის. განსხვავებით ტრადიციული აუდიო კოდეკებისგან, neural codec სწავლობს დიდ მონაცემებზე და შეუძლია ეფექტურად კოდირება მაღალი სიღრმის შემცირებისა და ხარისხის მქონე აუდიოს.

Encodec და SoundStream — ასეთ მოდელების მაგალითებია. ისინი იყენებენ ენკოდერს აუდიოს კომპაქტური წარმოდგენის (კოდის) გადასაცემად და დეკოდერს ამ კოდიდან ხმას აღდგენისათვის. ხშირად გამოიყენება დაბალი ლატენციის ქსელური აუდიო ტრანსმისციის და საუბრის სინთეზის სისტემებში.

პროცესი ჩვეულებრივ ასე გამოიყურება:

• ენკოდერი იღებს აუდიო სიგნალს და გარდაქმნის მას დაბალი განზომილების წარმოდგენად.
• ეს წარმოდგენა გადაეცემა ან ინახება.
• დეკოდერი ამ წარმოდგენიდან აღადგენს ხმას.

ეს კოდეკები მუშაობენ სხვადასხვა ბიტრეთებით და ადაპტირდებიან არხის ხარისხსა და სიჩქარეზე.