Что такое class activation maps (CAM) и Grad-CAM?

Class Activation Maps (CAM) — это метод визуализации, который позволяет понять, какие области изображения влияют на решение сверточной нейронной сети при классификации. CAM показывает тепловую карту, выделяющую важные для модели регионы.

Grad-CAM — расширение CAM, которое использует градиенты выходного класса по отношению к активациям сверточного слоя для построения карты важности. Это позволяет применять метод к более широкому классу моделей, включая те, где прямое использование CAM невозможно.

Пример применения Grad-CAM: при классификации изображения с собакой, Grad-CAM выделит область с собакой, показывая, что именно эта часть изображения повлияла на решение модели.