Kas yra HuBERT?

HuBERT (Hidden-Unit BERT) yra modelis, skirtas mokytis kalbos reprezentacijų be žymėtų duomenų naudojimo (savi-supervizuojamas mokymasis). Jis mokomas naudodamas garso signalus, bandydamas numatyti paslėptas diskretines vienetus (klasterizuotas garso savybes), leidžiančias modeliui efektyviai įsisavinti fonetines ir akustines žinias.

HuBERT taikomas kalbos atpažinimo, garso kokybės gerinimo ir kitose kalbos apdorojimo užduotyse, dažnai pranoksta tradicinius metodus, ypač kai duomenų žymėjimas yra ribotas.

Pavyzdys, kaip naudoti HuBERT, yra modelio išankstinis mokymas dideliame garso korpuse, po kurio seka tolesnis pritaikymas konkrečiai ASR (automatinio kalbos atpažinimo) užduočiai.