Что такое HuBERT?

HuBERT (Hidden-Unit BERT) — это модель для обучения представлений речи без использования размеченных данных (self-supervised learning). Она обучается на аудиосигналах, пытаясь предсказать скрытые дискретные единицы (кластеризованные аудиофичи), что позволяет модели эффективно захватывать фонетическую и акустическую информацию.

HuBERT применяется для задач распознавания речи, улучшения качества аудио и других задач обработки речи, часто превосходя традиционные методы, особенно при ограниченном количестве размеченных данных.

Пример использования HuBERT — предварительное обучение модели на большом корпусе аудио, а затем дообучение на конкретной задаче ASR (Automatic Speech Recognition).