Kas ir neironu kodeks (Encodec, SoundStream)?

Neural codec ir neironu tīkla modelis ir audio signālu, piemēram, runas vai mūzikas, saspiešanai un atjaunošanai. Atšķirībā no tradicionālajiem audio kodekiem, neural codec tiek apmācīts uz lieliem datu kopumiem un var efektīvi kodēt audio ar augstu saspiešanas līmeni un kvalitāti.

Encodec un SoundStream ir piemēri šādiem modeļiem. Tie izmanto enkodētāju, lai pārveidotu audio par kompaktu reprezentāciju (kodu), un dekodētāju, lai atjaunotu skaņu no šī koda. Tie bieži tiek izmantoti zemas latentuma tīkla audio pārraidē un runas sintēzes sistēmās.

Process parasti ir šāds:

• Enkodētājs saņem audio signālu un to pārveido par zemas dimensijas reprezentāciju.
• Šī reprezentācija tiek pārraidīta vai saglabāta.
• Dekodētājs atjauno skaņu no šīs reprezentācijas.

Šādi kodeki var darboties ar dažādiem bitu pārraides ātrumiem un pielāgoties kanāla kvalitātei un joslas platumam.