SE模块的原理与流程详解

在深度学习中，注意力机制是一种能够提升网络性能的关键技术，它通过动态调整模型对不同部分的关注程度，来提高模型对重要特征的识别能力。在卷积神经网络中，通道注意力机制（Channel Attention）作为一种重要的注意力机制，旨在为特征图的每个通道分配不同的权重，从而增强对重要通道的响应。

本文将聚焦于 Squeeze-and-Excitation（SE）模块，这是通道注意力的经典实现之一，深入探讨其工作原理与具体流程，帮助您掌握其背后的核心思想和实现方法。

通道注意力机制主要关注特征图的 通道维度，为每个通道分配一个权重，从而对重要通道进行强化，对无关通道进行抑制。这种机制可以看作是特征选择的一种方式，目的是让网络更加专注于对任务有贡献的特征。

SE模块是通道注意力机制的典型实现，其核心思想是通过两步操作来完成通道权重的学习：

SE模块可以嵌入到任何卷积神经网络中，用于提升模型的表达能力。以下是其详细工作流程：

输入特征图形状为 $\times W \times C_{\text{in}}$ ，其中 $H$ 和 $W$ 是特征图的空间维度， $C_{\text{in}}$ 是通道数。

SE模块的第一步是对输入特征图的每个通道进行全局平均池化（Global Average Pooling, GAP），将空间维度 $\times W$ 压缩为一个标量。这一步的目的是提取每个通道的全局信息。

公式：
$z_c = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} x_{i,j,c}$
其中， $x_{i,j,c}$ 是特征图中第 $c$ 个通道在位置 $(i, j)$ 处的值， $z_c$ 是通道 $c$ 的全局描述。
结果：
经过全局池化后，得到的特征图被压缩为一个向量，形状为 $\times 1 \times C_{\text{in}}$ 。

在 Squeeze 操作后，SE模块通过两个全连接层对每个通道的重要性进行建模，这部分是模块的核心。

全连接层1：
将通道数从 $C_{\text{in}}$ 压缩到一个较小的维度 $C_{\text{bottleneck}}$ ，其计算量受到 seratio 参数的控制。对于常见的 seratio=0.25，计算公式为：
$C_{\text{bottleneck}} = C_{\text{in}} \times 0.25$

通过这个步骤，降低了通道维度，减少了计算量，并增加了非线性表达能力。
ReLU激活：
使用 ReLU 激活函数对全连接层的输出进行非线性变换，增强特征的非线性表达能力。
全连接层2：
将降维后的特征向量还原到原始通道数 $C_{\text{in}}$ 。这一步骤的输出为每个通道的权重值。
Sigmoid激活：
最后使用 Sigmoid 激活函数，将权重值限制在 [0, 1] 的范围内，表示每个通道的重要性。
公式：
$\sigma(W_2 \cdot \text{ReLU}(W_1 \cdot z))$
其中， $W_1$ 和 $W_2$ 是全连接层的权重， $z$ 是全局池化后的向量， $e$ 是生成的通道权重。

生成的通道权重 $e$ 与输入特征图逐通道相乘，完成对特征图的重标定。这一步的作用是强化重要通道的响应，同时抑制不重要的通道。

重标定后的特征图 $x^{'}$ 作为 SE 模块的输出，直接传递给后续网络。

假设输入特征图的通道数为 256：

Squeeze：将每个通道的空间维度压缩为一个标量，得到一个大小为 $\times 1 \times 256$ 的向量。
Excitation：
- 第一个全连接层将通道数降为 $256 \times 0.25 = 64$ 。
- ReLU 激活后，第二个全连接层将通道数恢复为 256。
- Sigmoid 激活得到每个通道的权重。
重标定：对输入特征图的每个通道加权，输出特征图形状仍为 $\times W \times 256$ 。