Что такое cosine schedule в диффузии?

Cosine schedule в контексте диффузионных моделей — это способ задания графика изменения параметра шума (обычно коэффициента дисперсии) во время процесса диффузии, основанный на косинусной функции. Цель — плавно и эффективно регулировать уровень шума на каждом шаге, чтобы улучшить качество генерации и стабильность обучения.

В отличие от линейного или экспоненциального расписания, cosine schedule задаёт изменение шума по формуле, напоминающей половину косинусной волны, что позволяет более мягко уменьшать шум в начале и конце процесса. Это помогает модели лучше восстанавливать данные на ранних и поздних шагах диффузии.

Пример формулы для коэффициента шума β_t в зависимости от шага t и общего числа шагов T:

[ \beta_t = 1 - \cos\left(\frac{t}{T} \cdot \frac{\pi}{2}\right)^2 ]

Такое расписание было предложено в некоторых современных диффузионных моделях для улучшения качества и скорости сходимости.