Kas ir HuBERT?

HuBERT (Hidden-Unit BERT) ir modelis, kas māca runas pārstāvjus bez marķētu datu izmantošanas (pašuzraudzīta mācīšanās). Tas tiek apmācīts uz audio signāliem, mēģinot prognozēt slēptas diskrētas vienības (klasterizētas audio īpašības), kas ļauj modelim efektīvi uztvert fonētisku un akustisku informāciju.

HuBERT tiek izmantots runas atpazīšanas, audio kvalitātes uzlabošanas un citās runas apstrādes uzdevumos, bieži pārspējot tradicionālās metodes, īpaši ierobežotu marķētu datu gadījumā.

Piemērs HuBERT izmantošanai ir modeļa priekšapmācība uz lielas audio kopas, pēc tam to pielāgojot konkrētai ASR (automātiskās runas atpazīšanas) uzdevumam.