Что такое consistency regularization (FixMatch)?

Consistency regularization — это метод в области обучения с частично размеченными данными, который предполагает, что модель должна выдавать стабильные предсказания для разных вариаций одного и того же входа. В FixMatch этот принцип реализуется через использование слабых и сильных аугментаций данных: модель генерирует псевдометки на слабой аугментации, а затем обучается на сильной аугментации, стремясь к тому, чтобы предсказания совпадали.

Пример: для изображения сначала применяется легкая аугментация (например, небольшое изменение яркости), модель предсказывает класс, и если уверенность достаточно высокая, это предсказание используется как псевдометка. Затем к тому же изображению применяется сильная аугментация (например, случайное обрезание, поворот), и модель обучается так, чтобы предсказание на сильной аугментации совпадало с псевдометкой.

Это помогает эффективно использовать неразмеченные данные и улучшает обобщающую способность модели.