Что такое masked autoencoders (MAE) для CV?

Masked Autoencoders (MAE) для компьютерного зрения — это тип моделей, которые обучаются восстанавливать скрытую (замаскированную) часть изображения из видимой части. Идея в том, что на вход подается изображение с случайно замаскированными (скрытыми) патчами, а задача модели — реконструировать эти замаскированные патчи.

Это помогает модели учиться понимать структуру и контекст изображения без необходимости в разметке. MAE часто используют трансформеры, которые хорошо работают с последовательностями патчей изображения.

Пример:

• Изображение разбивается на патчи (например, 16x16 пикселей).
• Случайно выбирается большая часть патчей для маскировки (например, 75%).
• Модель получает только непомеченные патчи и должна предсказать пиксели замаскированных патчей.

Такой подход эффективен для обучения представлений изображений в режиме self-supervised, что улучшает последующую классификацию или другие задачи CV.