Por que em muitas tarefas de CV, passámos de convoluções (CNN) para mecanismos de atenção (Transformer)?

Механизм внимания (Transformer) стал популярнее свёрточных нейросетей (CNN) в задачах компьютерного зрения по нескольким причинам:

• Глобальный контекст: В отличие от CNN, которые оперируют локальными фильтрами и постепенно расширяют рецептивное поле, трансформеры сразу могут учитывать зависимости между любыми частями изображения благодаря механизму внимания.
• Гибкость архитектуры: Трансформеры не зависят от фиксированного размера входа и могут легко масштабироваться.
• Лучшее представление сложных взаимосвязей: Внимание позволяет модели фокусироваться на наиболее релевантных участках изображения, что улучшает качество распознавания и генерализации.
• Унификация подходов: Трансформеры успешно применяются не только в CV, но и в NLP, что упрощает разработку мультизадачных моделей.

Пример: Vision Transformer (ViT) разбивает изображение на патчи и обрабатывает их как последовательность, аналогично словам в тексте, что позволяет модели эффективно учиться глобальным признакам без свёрток.