Эта статья рассматривает и реализует статью CBAM (Модуль внимания сверточного блока) авторства Woo et al. [1]. Опубликованная в 2018 году, CBAM улучшает качество признаков CNN с помощью двойного механизма внимания, предшествуя Vision Transformer (ViT), представленному в 2020 году. Она остается актуальной благодаря легковесному дизайну, что делает ее подходящей для развертывания с низким энергопотреблением.

CBAM улучшает SENet (Сеть сжатия и возбуждения), добавляя пространственное внимание. В то время как SENet применяет внимание только по каналам, CBAM вводит два субмодуля: Модуль канального внимания (CAM) и Модуль пространственного внимания (SAM). CAM использует zarówno глобальное среднее пулинг, так и глобальное максимальное пулинг, за которым следует общий MLP с коэффициентом снижения размерности, для генерации весов каналов. SAM применяет максимальное и среднее пулинг по каналам, за которым следует сверточный слой для создания карты пространственного внимания.

Уточненный выход сохраняет размерности входного тензора (C×H×W), обеспечивая бесшовную интеграцию в любую архитектуру backbone. Реализация продемонстрирована с использованием PyTorch, предоставляя практическое руководство по применению этого двойного механизма внимания в задачах компьютерного зрения.

Ключевые сущности: Компании: Towards Data Science | Люди: Woo et al.

Часто задаваемые вопросы: В чем отличие CBAM от SENet в механизмах внимания?

CBAM расширяет SENet, добавляя Модуль пространственного внимания (SAM) рядом с Модулем канального внимания (CAM), что позволяет выполнять взвешивание на уровне пикселей в дополнение к взвешиванию по каналам.