Mis on närvivõrk kodek (Encodec, SoundStream)?

Neural codec on närvivõrgu mudel helikõrguse ja taastamise jaoks, näiteks kõne või muusika jaoks. Erinevalt traditsioonilistest helikõlaritest õpib neural codec suurel andmekogul ning suudab tõhusalt kodeerida heli kõrge tihendusastme ja kvaliteediga.

Encodec ja SoundStream on näited sellistest mudelitest. Nad kasutavad kodeerijat, et muuta heli kompaktseks esitluseks (kood), ja dekodeerijat, et taastada heli sellest koodist. Neid kasutatakse sageli madala latentsusega võrkude kaudu heli edastamisel ja kõnesünteesisüsteemides.

Protsess näeb tavaliselt välja järgmiselt:

• Kodeerija võtab heli signaali ja muudab selle madala mõõtmega esitluseks.
• See esitlus edastatakse või salvestatakse.
• Dekodeerija taastab helisignaali sellest esitusest.

Sellised kodekid võivad töötada erinevate bittkiirustega ning kohanduda kanali kvaliteedi ja mahtuvusega.