Mis on RNN-T (transducer) ja milline on selle eelis voogesituse jaoks?

RNN-T (Korduv närvivõrgu transduktor) on närvivõrgu arhitektuur, mis on loodud järjestikuste prognoosimisülesannete jaoks, näiteks kõne tuvastamiseks. See ühendab korduva võrgu sisendi audio töötlemiseks (koodija), võrgu eelnevate väljundite prognoosimiseks (prognoosiv võrk) ja ühise võrgu, mis ühendab need kaks voogu, et genereerida järgmise sümboli.

RNN-T eelised voogedastuse jaoks on see, et mudel saab töötada reaalajas, töötades audio, kui see saabub, ilma et peaks ootama kogu audio voogu lõppu. Seda võimaldab rekurentsete ühenduste ja juba töödeldud andmete arvesse võtmise võime, mis tagab madala viivituse ja kõrge täpsuse reaalajas tuvastamisel.

Võib seda umbes nii ette kujutada:

• Koodija töötleb audio raame järjestikuliselt.
• Prognoosiv võrk võtab arvesse juba prognoositud sümboleid.
• Ühine võrk ühendab teabe ja genereerib järgmise sümboli.

Sel viisil on RNN-T ideaalne rakendustele, kus kiirus ja järjepidevus on olulised, näiteks häälassistendid või reaalajas subtiitrisüsteemid.