Какие признаки используют в speech-моделях (MFCC, mel-spectrogram)?

В speech-моделях для представления аудиосигнала часто используют признаки, основанные на спектральном анализе, такие как MFCC и mel-spectrogram.

• MFCC (Mel-Frequency Cepstral Coefficients) — коэффициенты мел-частотного кепстра. Они отражают кратковременную спектральную структуру звука с учетом особенностей восприятия человеческим ухом. MFCC вычисляются путем преобразования сигнала в спектр, применения мел-шкалы частот, логарифмирования и обратного преобразования Фурье. Эти признаки компактно описывают тембральные характеристики речи и широко используются в распознавании речи.

• Mel-spectrogram — спектрограмма, где частотная ось масштабирована по мел-шкале, приближенной к восприятию частот человеком. Она показывает распределение энергии сигнала во времени и частоте. Mel-spectrogram часто используется как вход для нейросетевых моделей, особенно в задачах синтеза речи и классификации.

Оба признака учитывают неравномерное восприятие частот человеком, что делает их информативными для анализа и обработки речи.