基于 CNN 的人脸识别这条路走了很多年从检测对齐到特征提取再到度量学习整条工程链早就定型了想再挤出几个点提升都很费劲。前阵子看到某高校研究团队放出的 RNL全称 Region-based Non-local专门用来做视频分类里的长程时空建模我第一反应不是“又一个注意力模块”而是这东西能不能反过来用到人脸识别上。原因很直接基于 CNN 的人脸识别在单帧静态图上的天花板已经很明显了跨姿态、跨年龄、遮挡这些问题单帧信息量根本不够真正的增量在视频序列里。而视频分类恰恰是处理“多帧、长时序、大空间”的老手RNL 又是其中性价比很高的一种做法。这篇就围绕这两个看似不搭界的方向把 RNL 的结构拆透讲清楚它为什么能把 Non-local 的计算量砍下来再把手写代码、训练配方、踩过的坑一并交代清楚无论你是做视频理解的还是做人脸识别的都能直接拿去改。1. 两条技术线为什么会被放在一个标题里1.1 CNN人脸识别的工程链路已经固化到什么程度先把人脸识别这边讲清楚不然没法解释为什么需要视频分类的技术。一条标准的基于 CNN 的人脸识别流水线本质是四个环节人脸检测、关键点对齐、特征提取、度量学习。检测阶段把图里的人脸框出来对齐阶段用五个点或一百多个点做相似变换把眼睛、鼻尖、嘴角摆到固定位置这一步看着不起眼实际上决定了后面特征的上限。你拿一张侧脸 45 度、没有对齐的图直接塞进网络跟对齐之后的图相比特征相似度能差十几个点我在实际项目里反复验证过。特征提取环节主流还是 ResNet 系列50 层、100 层都有人用输出一个 512 维的 embedding。真正拉开差距的是损失函数从最早的 Softmax 到后来的角度间隔系列核心思路就一句话让同类特征在超球面上靠得更紧异类之间留出角度余量。间隔参数 m 取 0.5 是个经验值取大了训练前期收敛极慢取小了区分度上不去。这一段有个容易被忽略的细节特征必须做 L2 归一化之后再算角度否则模长会干扰间隔的作用很多人复现不出来就是漏了这步。但整条链路有个共同前提输入是一张静态图。静态图能提供的信息就那么多同一个人戴墨镜、戴口罩、低头、逆光单帧特征退化非常严重。业界的解法是拿多张图做特征融合可多张图怎么融合、按什么权重融合这就变成了一个时序建模问题而时序建模恰恰是视频分类的主场。这就是标题把两条线放一起的底层逻辑不是硬凑是需求真的对接上了。1.2 视频分类卡在长程依赖上很多年了视频分类的老大难是时空建模。早期的双流法把 RGB 和光流分开训再融合光流那一支算起来极慢工程上很难落地。后来 3D 卷积把时间维度直接并进卷积核一个 3x3x3 的核在时间上只能看 3 帧想覆盖几十帧的长动作比如“起身走到门口再回头”就得靠堆层数堆到感受野够大时参数量和显存都爆了。Non-local 操作就是在这个背景下被提出来的。它的思路借自图像领域的自注意力每一个位置的特征都和其他所有位置做一次相似度计算然后按相似度加权求和这样任意两个位置之间的依赖路径长度都是 1不管隔多远。数学上写成y_i (1/C(x)) · Σ_j f(x_i, x_j) · g(x_j)其中 f 是相似度函数g 是特征变换C 是归一化系数。把 f 取成嵌入式高斯就是最常见的实现。这个操作确实有效插入到 3D 骨干网络中间动作识别的准确率能涨两三个点而且不改变特征图尺寸接起来很省事。问题出在复杂度上。视频特征图的元素总数 N T × H × W一个 16 帧、56×56 分辨率的特征图N 就是 50176。Non-local 要算一个 N×N 的相似度矩阵那是 25 亿个元素一个都存不下。工程上的妥协是只在低分辨率层用或者把时间空间分开算但这些都是绕着走没解决根本矛盾。1.3 RNL 的真正切入点语义是成片的不必逐像素算RNL 的洞察其实很朴素自然图像和视频里语义相近的像素从来不是零散分布的而是一块一块连成片的。一个人的手臂、一件衣服、一片天空相邻像素的语义高度一致。既然这样为什么还要对每一个像素都做一次全局交互把特征图划成若干区域每个区域出一个代表向量在区域级别做注意力再把结果广播回像素效果损失很小算力却能砍掉一个数量级。这个思路的价值不只在省算力上还在于它让 Non-local 可以放到更高分辨率的层去用。原来只能在 res4、res5 之后的 14×14 特征图上用现在放到 28×28 甚至 56×56 也不是不能承受感受野的收益是实打实的。我自己的实测里把区域级注意力放在较高分辨率的层对小目标和细粒度动作的帮助比对大目标更明显。再往深一层想区域这个概念本身也提供了额外的归纳偏置。像素级注意力容易过拟合到纹理细节区域级注意力强制模型关注“块与块之间的关系”泛化性反而更好一些。这一点在后面做人脸识别迁移时体现得尤其明显人脸的五官天然就是分区域的眼睛、鼻子、嘴巴各成一块区域级建模跟人脸的解剖结构是对得上的。2. RNL的结构拆解与参数账本2.1 三步流程划分、聚合、广播RNL 的完整流程拆成三步每一步都有讲究。第一步是区域划分与聚合。输入特征 x 的形状是 (B, C, T, H, W)先按网格划成 (T, r, r) 个区域每个区域内做平均池化得到一个 C 维的代表向量。这里用平均而不是最大池化原因是最大池化只保留最显著的那个响应会丢掉区域内部的整体统计特性而后续要算的是区域间的相似度需要的是区域的整体表征平均池化更合适。池化完得到形状 (B, C, T, r, r) 的区域特征拉平成 (B, C, R)R T × r × r 就是区域总数。第二步是区域级注意力。对区域特征分别做三个 1×1×1 卷积得到 θ、φ、g 三路变换把通道数压到 C/2 减少计算。然后用 θ 和 φ 算相似度矩阵 A形状是 (R, R)softmax 归一化。这一步的复杂度是 O(R²·C)因为 R 通常只有几十到几百完全可控。再用 A 去加权 g得到区域级的输出 (B, C, R)。第三步是广播回像素。把区域输出上采样回原来的 (T, H, W) 分辨率这一步用三线性插值就行因为时间维度的采样点数和原来一样实际上就是每帧做一次双线性插值。最后接一个 1×1×1 卷积做通道融合加上残差连接和可学习的缩放系数 γγ 初始化为 0保证训练初期这个分支是恒等映射不会破坏预训练权重。这个“γ 初始化为零”的细节非常关键。Non-local 类模块如果一开始就带着随机初始化参与前向预训练模型的输出分布会被打乱前几个 epoch loss 会剧烈震荡。我在第一次实现时没注意loss 曲线前 2000 步像心电图一样加了零初始化之后立刻平滑。这个技巧现在已经是标配但自己从零写的时候很容易忘。2.2 划分策略固定网格还是可学习聚类区域怎么划直接影响效果和工程复杂度主流有两条路。固定网格划分是把特征图均匀切成 r×r 个格子实现上就是一个 adaptive_avg_pool 加 interpolate没有任何自定义算子导出、量化、部署都很友好。缺点是网格边界和真实语义边界对不上一个人的身体可能被切到四个格子里区域表征就被稀释了。实际用下来r 取 7 是比较好的平衡点取 3 太粗区域内部混杂严重取 14 又太细省不下多少算力。可学习聚类是让网络自己学一组聚类中心每个像素按软分配权重归到各个中心。理论上更贴合语义但训练稳定性差聚类中心容易坍缩到少数几个位置需要额外的正则项来约束分配熵。我试过一版前 10 个 epoch 还算正常后面分配矩阵就退化成近似均匀分布等于没聚。想走这条路得配上分配熵约束和中心分离约束工程量翻倍收益不一定对得起。我的建议很明确先用固定网格把整条流水线跑通确认精度和速度都有收益再考虑要不要上聚类。绝大多数场景下固定网格够用了而且它的计算模式规整在推理框架里的算子融合效果好得多。真要提升语义贴合度不如把 r 做成多尺度同时在 r5 和 r7 两个粒度上做区域注意力然后把两路结果加起来代价增加不多效果比单粒度稳。再说时间维度怎么处理。有两种做法一是每个时间步独立做空间区域注意力时间维度完全交给 3D 卷积二是把 (T, r, r) 整体当作区域集合让不同时刻的区域之间也能交互。第一种实现简单但时间上的长程依赖还是没解决第二种才是 RNL 真正的价值所在因为一个动作的起承转合往往跨越几十帧必须让远处的时间片段直接对话。代价是 R 会随 T 线性增长T16、r7 时 R 就到了 784R² 接近 61 万还在可接受范围内但 T 再大就得在时间上做降采样了。2.3 算力与显存的实账核算光说不练没意义把数字摊开算一遍。假设输入特征图 C512T8空间分辨率 28×28那么 N 8×28×28 6272。标准 Non-local 的相似度矩阵是 6272×6272约 3934 万个元素用 float16 存也要 78MB 一个矩阵而且这只是中间结果反向传播还要存实际显存占用得乘个三四倍。换成 RNLr7R 8×7×7 392。相似度矩阵 392×392 只有 15.4 万个元素显存不到 0.3MB中间省略了 250 倍。就算把像素到区域的上采样和广播算进去总计算量也降了两个数量级。配置特征尺寸 (T×H×W)元素数 N区域数 R注意力矩阵规模相对算力Non-local8×28×286272不适用6272²1.00RNL r58×28×286272200200²0.006RNL r78×28×286272392392²0.012RNL r148×28×28627215681568²0.063Non-local16×56×5650176不适用50176²64.0最后一行是关键。表里把 Non-local 在 16×56×56 上的配置作为对比相对算力到了 64 倍也就是说同一个位置RNL 在 8×28×28 上做一次的开销够你在 16×56×56 上做六十多次。这就是为什么 Non-local 只能用在高层的低分辨率特征图上而 RNL 可以往下铺。我实际测下来在 8×28×28 上加一个 RNL 块单次前向的耗时增加不到 3%显存增加约 40MB放到 16 帧 112×112 的输入下完全扛得住。注意上面的“相对算力”只算了注意力矩阵本身实际还要加上池化、插值和三路 1×1×1 卷积的开销。通道数被压到 C/2 之后这三路卷积的占比会上升在极端小的 R 下比如 r3卷积反而不是瓶颈池化和插值才是做性能优化时优先看插值。3. 把RNL模块写进视频分类主干3.1 模块代码与关键实现细节下面是我实际在用的实现PyTorch 版本去掉了不必要的分支只保留固定网格这一条路线。输入是 5D 张量通道在前。import torch import torch.nn as nn import torch.nn.functional as F class RegionNonLocal(nn.Module): def __init__(self, channels, region7, reduction2, use_temporalTrue): super().__init__() inner max(channels // reduction, 16) self.region region self.use_temporal use_temporal self.theta nn.Conv3d(channels, inner, 1, biasFalse) self.phi nn.Conv3d(channels, inner, 1, biasFalse) self.g nn.Conv3d(channels, inner, 1, biasFalse) self.proj nn.Conv3d(inner, channels, 1, biasFalse) self.bn nn.BatchNorm3d(channels) self.gamma nn.Parameter(torch.zeros(1)) def forward(self, x): B, C, T, H, W x.shape r self.region # 1. 区域聚合均匀网格平均池化 if self.use_temporal: pooled F.adaptive_avg_pool3d(x, (T, r, r)) else: pooled F.adaptive_avg_pool3d(x, (T, 1, 1)).expand(-1, -1, -1, r, r) theta self.theta(pooled).flatten(2) # (B, C, R) phi self.phi(pooled).flatten(2) # (B, C, R) g self.g(pooled).flatten(2) # (B, C, R) # 2. 区域级注意力 attn torch.bmm(theta.transpose(1, 2), phi) # (B, R, R) attn F.softmax(attn * (theta.shape[1] ** -0.5), dim-1) z torch.bmm(g, attn.transpose(1, 2)) # (B, C, R) z z.view(B, -1, T, r, r) # 3. 广播回像素 z z.permute(0, 2, 1, 3, 4).contiguous().view(B * T, -1, r, r) z F.interpolate(z, size(H, W), modebilinear, align_cornersFalse) z z.view(B, T, -1, H, W).permute(0, 2, 1, 3, 4).contiguous() z self.bn(self.proj(z)) return x self.gamma * z几个实现要点值得单独说。第一相似度缩放。加了个theta.shape[1] ** -0.5也就是除以 sqrt(通道数)。这不是原版 Non-local 的做法但在实际训练里非常有用因为区域特征经过 1×1×1 卷积之后数值范围差异很大不缩放的话 softmax 容易饱和注意力直接退化成独热等于只取了最大的那个区域。加上缩放之后注意力的熵明显更高说明模型在真正做“加权融合”而不是“硬选择”。第二上采样的内存布局。先把 (B, C, T, r, r) 重排成 (B×T, C, r, r) 再做双线性插值这样 interpolate 就只需要处理 4D 张量少一次三线性插值的核调度。实测在 T16 的时候这一步能省 15% 左右的耗时。插值完再重排回去虽然多了两次 permute 和 contiguous但整体是值的。第三BatchNorm 放在投影卷积之后。不加 BN 的话广播回来的特征和主干特征的分布差异很大直接相加会让后面的层很难适应。加了 BN 之后训练稳定很多代价是推理时需要额外维护一组统计量影响不大。第四use_temporalFalse这个分支保留了用来做消融。关掉之后退化成一个全局空间池化区域内只有一个点本质上就是不带时间交互的空间注意力。我建议先用 False 跑一版作为基线再开 True 看增量这样能清楚知道收益来自哪里。3.2 插入位置、层数和时空维度处理模块写完了插在哪是个经验活。常见做法是把 Non-local 块插在残差阶段之后比如骨干网络的 res3 和 res4 各插几个。RNL 因为便宜可以往前挪一挪插到 res2 的末尾通常是 28×28 的分辨率也不过分。我自己跑的一组配置是res2 末尾插 1 个res3 末尾插 2 个res4 末尾插 2 个总共 5 个。太少没感觉太多会拖慢收敛而且后面几个块的注意力图高度相似边际收益递减。有篇工作做过类似实验插到 5 个之后再往上加准确率的提升基本在噪声范围内。时间维度的处理上我把use_temporal打开之后区域数 R 会变成 T×r×r这时候要注意显存随 T 线性增长。T32、r7 时 R 就是 1568R² 是 246 万虽然比 N² 小得多但 batch size 开大之后还是能吃满显存。如果显卡不够有两个妥协方案一是在时间维度上也做池化把 T 压到 T/2 再算注意力二是把相似度矩阵改成稀疏计算只保留每个区域 top-k 个相似区域k 取 16 或 32softmax 在稀疏矩阵上做。第二种方案我在一个长视频任务上试过精度损失不到 0.3 个点显存省了 60%。还有个小坑adaptive_avg_pool3d在 T 不能被整除的时候行为不是特别直观如果你的时间维度做过下采样导致 T 是奇数最好先补一帧到偶数再池化或者干脆把 r 在时间上单独设成 T 本身也就是不做时间下采样。我在一个变长视频的任务里就因为这个出过问题同一段视频在不同采样长度下区域划分对不齐导致 batch 内的统计量不稳定。3.3 训练配方与调参记录训练配置这块把我在视频分类任务上跑通的一套给出来仅供参考具体要按你的数据量调整。优化器用 SGDmomentum 0.9weight decay 1e-4不用 Adam因为视频任务的 batch 通常不大Adam 的泛化性在小 batch 下反而不如 SGD。学习率做 cosine 退火初始 0.01配上 5 个 epoch 的线性 warmup。batch size 是 8 段 × 8 帧也就是一次喂 64 帧。混合精度训练打开梯度裁剪设 1.0防止注意力分数爆炸导致的梯度尖峰。输入尺寸我用的 112×112不是 224。原因很实际224 分辨率下同等的显存只能跑一半的 batch而视频任务里 batch 内的负样本多样性比单帧分辨率更重要。如果显存充裕可以试 160×160再往上收益不明显。超参数取值调整理由优化器SGD小 batch 下泛化优于 Adam初始学习率0.01配合 cosine 与 warmupwarmup epoch5稳定注意力模块初期的梯度权重衰减1e-4抑制区域投影卷积过拟合梯度裁剪1.0防止 softmax 饱和引起尖峰输入分辨率112×112分辨率与 batch 的折中采样帧数8 或 1616 帧时显存约翻倍精度混合精度注意力矩阵用 fp16 存储一个反直觉的观察加了 RNL 之后训练 epoch 总数要适当减少不能照搬基线。因为注意力模块带来的收敛加速是实打实的基线要 100 个 epoch 才收敛加了 RNL 之后 80 个 epoch 就到平台了再多训会开始过拟合。我一开始没注意按 100 个 epoch 跑最后 20 个 epoch 验证集准确率反而掉了 0.8 个点。还有一个调参点是 γ 的初始值。虽然标准做法是零初始化但如果你的骨干网络是从零开始训练而不是加载预训练权重γ 初始化为 0 会让这个分支在前期完全不起作用白白浪费训练时间。这种情况下可以初始化为 0.1 或者用一个小的高斯初始化让它在早期就参与梯度更新。3.4 消融与结果解读跑了四组对照固定随机种子其他配置完全一致只改 RNL 的配置结果如下。配置是否含时间交互区域粒度插入层数准确率相对基线基线无注意力无无0基准 - 0.00.0空间区域注意力否7×751.61.6时空区域注意力是7×752.72.7时空区域注意力是5×552.42.4时空区域注意力是14×1452.82.8表格里最后一行看起来很香r14 比 r7 还高 0.1 个点但代价是算力涨了五倍多性价比完全不划算。实用推荐还是 r7。空间注意力和时空注意力之间的 1.1 个点差距说明时间维度的交互确实是主要收益来源这也是我在前面强调use_temporal要单独做消融的原因。再补一个观察把插入层数从 5 减到 3只保留 res3 和 res4准确率只掉了 0.4 个点速度却快了近 20%。如果你的推理延迟有硬约束这个裁剪是值得做的。反过来如果只保留 1 个块在 res4掉 1.5 个点说明单一位置的注意力无法覆盖多尺度的依赖关系。还有一点注意力图可视化之后能看出一些有意思的模式。在动作识别的例子里区域注意力高亮的区域确实集中在动作主体和动作相关物体上比如“切菜”这个动作注意力同时落在手、刀和砧板上这三个区域之间形成高相似度连接。这也从侧面说明区域级建模并没有丢太多信息语义对应的区域确实能自动聚到一起。4. 从视频分类回灌人脸识别4.1 视频人脸识别的聚合层到底该怎么设计回到标题的另一半。视频人脸识别的核心问题不是特征提取而是多帧特征怎么聚合成一个。最简单的是平均池化把所有帧的特征加起来除以帧数。这个方法在视频质量好的时候勉强能用但一段视频里总有模糊帧、侧脸帧、遮挡帧平均之后会把噪声也平均进去最终特征反而比单张最好的帧还差。改进方向是加权聚合权重来自质量评估。质量分可以由几个因素构成人脸检测的置信度、关键点对齐的残差、清晰度拉普拉斯方差、姿态角偏离正脸的程度。每个因素归一化之后加权求和得到一个 0 到 1 的质量分再把它当成聚合权重。这套方法在工程上非常好用实现简单不需要额外训练我做过对比在同等的特征提取器下质量加权比平均池化在验证集上的准确率能高出两到三个点。但加权聚合有个前提质量分是准的。如果质量评估本身有偏比如过度惩罚侧脸那你就会把一段本来有信息量的侧脸序列全部压掉。更稳的做法是引入注意力聚合让网络自己学该关注哪一帧。实现上就是一个小的注意力网络输入是每帧特征输出是每帧的标量权重softmax 归一化后加权求和。这个思路和 RNL 的区域注意力在形式上是同构的只不过把“区域”换成了“帧”把“空间相似度”换成了“帧与帧的时序依赖”。这就是我在开头说的技术回灌两边的数学结构完全一致代码可以直接改。4.2 人脸识别工程链路的落地细节真正落地时注意力聚合只是链条上的一环前面几个环节的细节更能决定成败。对齐环节五个点的相似变换是最低配置如果条件允许用 68 点或 98 点做更精细的仿射变换把眼睛、鼻子、嘴巴的位置统一到标准坐标。对齐模板的选择有讲究不同模板下训练出来的模型不通用换模板必须重训。我在一个项目里换过模板同一个验证集上准确率差了两个多点原因是新模板下人脸被裁得更紧边缘信息丢失了。数据清洗环节公开数据集里的噪声比想象中严重。标注错误的、同一个人多个身份标签的、图像本身是重复的这些都会污染训练。我的做法是先训一个小模型跑一遍全集把类内距离特别大的样本和类间距离特别小的样本挑出来人工过一遍通常能清掉 3% 到 5% 的脏数据效果相当于多刷了一轮训练。特征归一化环节前面提过要 L2 归一化但还有个细节是特征维度。512 维是主流维度再高收益很小反而增加存储和检索成本。做 1:N 检索时如果底库规模到了百万级用 512 维的 float32 存就是 2GB配上量化能压到 500MB 以内检索延迟在毫秒级。这个量级下特征维度的取舍要跟检索方案一起考虑不能只盯着准确率。注意做多帧聚合时一定要确认所有帧的特征来自同一个模型版本。中途换模型会导致不同帧的特征落在不同的嵌入空间里聚合出来的结果毫无意义。这类错误在多人协作的项目里出过不止一次。4.3 一个可复现的训练配方把上面的东西串起来给出一个完整的人脸识别训练配方包含度量学习部分。损失用带角度间隔的形式实现如下import math import torch import torch.nn as nn import torch.nn.functional as F class AngleMarginHead(nn.Module): def __init__(self, in_features, num_classes, s64.0, m0.5): super().__init__() self.weight nn.Parameter(torch.empty(num_classes, in_features)) nn.init.xavier_uniform_(self.weight) self.s s self.m m def forward(self, x, label): # x 必须已做 L2 归一化 cos F.linear(F.normalize(x), F.normalize(self.weight)) cos cos.clamp(-1 1e-7, 1 - 1e-7) theta torch.acos(cos) target theta.gather(1, label.view(-1, 1)) self.m one_hot F.one_hot(label, cos.size(1)).float() final torch.where(one_hot.bool(), torch.cos(target), cos) return F.cross_entropy(final * self.s, label)参数选择上s 取 64、m 取 0.5 是通用起点。如果你的类别数很少比如几百个m 可以取 0.3 到 0.4避免训练初期过于困难类别数上万的时候m 取 0.5 甚至 0.6 才有足够的判别力。学习率用 0.1 起步cosine 退火到 0权重衰减 5e-4warmup 用 2 个 epoch。batch size 越大越好因为角度间隔损失本质上是在做对比学习负样本数量直接决定梯度质量能上 512 就别用 256。视频人脸识别的微调策略是分两阶段。第一阶段用静态图训练主干和度量头把单帧能力打扎实第二阶段冻结主干的前几层只训练后几层和聚合模块用视频序列做微调。冻结的层数取决于你的视频数据量数据少就多冻几层数据多可以全放开。我做过对比直接拿视频数据从头训收敛慢且容易过拟合两阶段训法在相同数据量下验证集准确率高出接近 4 个点。5. 常见问题与排查速查5.1 显存与速度类问题第一个高频问题是训练刚开始就 OOM。分两种情况如果加上 RNL 之后才爆先用torch.cuda.memory_allocated()打印各阶段的显存重点看相似度矩阵那一步。R 太大的话把 r 从 7 降到 5或者把use_temporal关掉先跑通。如果是上采样那一步爆检查是不是 T 太大把 T 从 32 降到 16 试试。第二个问题是训练速度比预期慢很多。先 profile 一下看时间花在什么上。很多人以为是注意力矩阵实际上小 R 的情况下时间主要花在interpolate和contiguous上。优化手段是减少不必要的 permute把上采样前的重排做成 view 而不是 reshape确保张量是连续的。另外adaptive_avg_pool3d在 T 和 r 都不是 2 的幂时kernel 调度效率会下降能凑成 2 的幂就凑一下。第三个问题是推理时的显存占用远小于训练但延迟没降下来。这是因为混精训练时注意力矩阵是 fp16但推理框架可能把它自动升到了 fp32。检查一下导出后的计算图确认所有节点都在预期精度上。5.2 精度不涨与掉点类问题现象可能原因排查手段处理方式加 RNL 后精度不涨γ 未初始化或学习率过低打印 γ 的绝对值γ 用零初始化学习率恢复 1.0前 10 epoch loss 剧烈震荡注意力分支破坏预训练分布观察 loss 曲线前 2000 步加 BNγ 零初始化精度先涨后掉过拟合对比训练和验证曲线减少 epoch加 dropout注意力图几乎全黑softmax 饱和打印注意力熵加 sqrt(C) 缩放换成大 r 后反而变差区域过细注意力稀疏对比不同 r 的结果r 取 5 到 7多卡训练后精度下降BN 统计量跨卡不同步检查 BN 的 sync 设置改用 SyncBN前面几行基本覆盖了我遇到的主要情况。特别说一下“注意力图全黑”这个打印注意力矩阵的熵是最快的诊断手段正常情况下熵应该在 log(R) 的 60% 到 80% 之间如果低于 30%基本可以确定是饱和了缩放系数和初始化都要检查。还有一个容易被忽略的点如果你的骨干网络用了预训练权重而 RNL 是随机初始化的两者在初期的特征尺度可能差一个数量级。这时候残差相加会把主干的输出带偏表现为前几个 epoch 精度断崖式下降。除了 γ 零初始化还可以在投影卷积之后加一个 LayerNorm把输出的尺度拉回来。5.3 跨任务迁移时最容易踩的坑从视频分类往人脸识别迁移最容易犯的错是直接照搬超参数。视频分类的输入是 8 到 32 帧的连续片段人脸识别的视频序列可能只有 3 到 5 帧而且帧间间隔不均匀可能是关键帧采样不是均匀采样。这种情况下时间维度上的区域划分就失去了均匀网格的前提需要改成按实际帧数动态划分或者干脆不做时间池化直接用注意力聚合。第二个坑是空间分辨率不匹配。视频分类常见的特征图是 28×28人脸识别在对齐之后裁切出来的图通常是 112×112特征图在最后阶段可能到 7×7。这个尺寸下再划 7×7 的区域等于每个区域就一个像素区域注意力退化成了像素注意力不仅没省算力还多了插值开销。人脸场景下区域数要相应减少5×5 对应 7×7 的特征图就够粗了或者把区域注意力放到更浅的层去做。第三个坑是评估协议的差异。视频分类看 top-1 准确率人脸识别看的是 1:1 验证的准确率和 1:N 检索的召回率评估时用的阈值也不同。把视频分类的模型直接搬到人脸识别上即使特征本身有判别力阈值不对也会让指标看起来很差。我建议先在小的验证集上扫一遍阈值找到等错误率最低的点再拿到大集上测。我自己在实际操作中的体会是RNL 这种区域级注意力最大的价值不在于某个具体任务的涨点而在于它把自注意力的成本压到了可以在多处、多尺度使用的程度。一旦成本不再是障碍你就可以在网络的浅层、中层、深层都铺上让不同尺度上的长程依赖都能被捕捉到。这个思路用到人脸识别上把“区域”理解成“人脸部件”甚至“视频里的关键帧”数学结构完全不用改改的只是划分规则和聚合对象。真正花时间的从来不是写这个模块而是搞清楚在你的数据上哪些东西该被当成一个区域以及这些区域之间的关系值不值得建模。 
长河君 · 2026/10/31 9:18:45 · 阅读 1.2k RNL区域级注意力：从视频分类长程建模到人脸识别迁移
基于 CNN 的人脸识别这条路走了很多年从检测对齐到特征提取再到度量学习整条工程链早就定型了想再挤出几个点提升都很费劲。前阵子看到某高校研究团队放出的 RNL全称 Region-based Non-local专门用来做视频分类里的长程时空建模我第一反应不是“又一个注意力模块”而是这东西能不能反过来用到人脸识别上。原因很直接基于 CNN 的人脸识别在单帧静态图上的天花板已经很明显了跨姿态、跨年龄、遮挡这些问题单帧信息量根本不够真正的增量在视频序列里。而视频分类恰恰是处理“多帧、长时序、大空间”的老手RNL 又是其中性价比很高的一种做法。这篇就围绕这两个看似不搭界的方向把 RNL 的结构拆透讲清楚它为什么能把 Non-local 的计算量砍下来再把手写代码、训练配方、踩过的坑一并交代清楚无论你是做视频理解的还是做人脸识别的都能直接拿去改。1. 两条技术线为什么会被放在一个标题里1.1 CNN人脸识别的工程链路已经固化到什么程度先把人脸识别这边讲清楚不然没法解释为什么需要视频分类的技术。一条标准的基于 CNN 的人脸识别流水线本质是四个环节人脸检测、关键点对齐、特征提取、度量学习。检测阶段把图里的人脸框出来对齐阶段用五个点或一百多个点做相似变换把眼睛、鼻尖、嘴角摆到固定位置这一步看着不起眼实际上决定了后面特征的上限。你拿一张侧脸 45 度、没有对齐的图直接塞进网络跟对齐之后的图相比特征相似度能差十几个点我在实际项目里反复验证过。特征提取环节主流还是 ResNet 系列50 层、100 层都有人用输出一个 512 维的 embedding。真正拉开差距的是损失函数从最早的 Softmax 到后来的角度间隔系列核心思路就一句话让同类特征在超球面上靠得更紧异类之间留出角度余量。间隔参数 m 取 0.5 是个经验值取大了训练前期收敛极慢取小了区分度上不去。这一段有个容易被忽略的细节特征必须做 L2 归一化之后再算角度否则模长会干扰间隔的作用很多人复现不出来就是漏了这步。但整条链路有个共同前提输入是一张静态图。静态图能提供的信息就那么多同一个人戴墨镜、戴口罩、低头、逆光单帧特征退化非常严重。业界的解法是拿多张图做特征融合可多张图怎么融合、按什么权重融合这就变成了一个时序建模问题而时序建模恰恰是视频分类的主场。这就是标题把两条线放一起的底层逻辑不是硬凑是需求真的对接上了。1.2 视频分类卡在长程依赖上很多年了视频分类的老大难是时空建模。早期的双流法把 RGB 和光流分开训再融合光流那一支算起来极慢工程上很难落地。后来 3D 卷积把时间维度直接并进卷积核一个 3x3x3 的核在时间上只能看 3 帧想覆盖几十帧的长动作比如“起身走到门口再回头”就得靠堆层数堆到感受野够大时参数量和显存都爆了。Non-local 操作就是在这个背景下被提出来的。它的思路借自图像领域的自注意力每一个位置的特征都和其他所有位置做一次相似度计算然后按相似度加权求和这样任意两个位置之间的依赖路径长度都是 1不管隔多远。数学上写成y_i (1/C(x)) · Σ_j f(x_i, x_j) · g(x_j)其中 f 是相似度函数g 是特征变换C 是归一化系数。把 f 取成嵌入式高斯就是最常见的实现。这个操作确实有效插入到 3D 骨干网络中间动作识别的准确率能涨两三个点而且不改变特征图尺寸接起来很省事。问题出在复杂度上。视频特征图的元素总数 N T × H × W一个 16 帧、56×56 分辨率的特征图N 就是 50176。Non-local 要算一个 N×N 的相似度矩阵那是 25 亿个元素一个都存不下。工程上的妥协是只在低分辨率层用或者把时间空间分开算但这些都是绕着走没解决根本矛盾。1.3 RNL 的真正切入点语义是成片的不必逐像素算RNL 的洞察其实很朴素自然图像和视频里语义相近的像素从来不是零散分布的而是一块一块连成片的。一个人的手臂、一件衣服、一片天空相邻像素的语义高度一致。既然这样为什么还要对每一个像素都做一次全局交互把特征图划成若干区域每个区域出一个代表向量在区域级别做注意力再把结果广播回像素效果损失很小算力却能砍掉一个数量级。这个思路的价值不只在省算力上还在于它让 Non-local 可以放到更高分辨率的层去用。原来只能在 res4、res5 之后的 14×14 特征图上用现在放到 28×28 甚至 56×56 也不是不能承受感受野的收益是实打实的。我自己的实测里把区域级注意力放在较高分辨率的层对小目标和细粒度动作的帮助比对大目标更明显。再往深一层想区域这个概念本身也提供了额外的归纳偏置。像素级注意力容易过拟合到纹理细节区域级注意力强制模型关注“块与块之间的关系”泛化性反而更好一些。这一点在后面做人脸识别迁移时体现得尤其明显人脸的五官天然就是分区域的眼睛、鼻子、嘴巴各成一块区域级建模跟人脸的解剖结构是对得上的。2. RNL的结构拆解与参数账本2.1 三步流程划分、聚合、广播RNL 的完整流程拆成三步每一步都有讲究。第一步是区域划分与聚合。输入特征 x 的形状是 (B, C, T, H, W)先按网格划成 (T, r, r) 个区域每个区域内做平均池化得到一个 C 维的代表向量。这里用平均而不是最大池化原因是最大池化只保留最显著的那个响应会丢掉区域内部的整体统计特性而后续要算的是区域间的相似度需要的是区域的整体表征平均池化更合适。池化完得到形状 (B, C, T, r, r) 的区域特征拉平成 (B, C, R)R T × r × r 就是区域总数。第二步是区域级注意力。对区域特征分别做三个 1×1×1 卷积得到 θ、φ、g 三路变换把通道数压到 C/2 减少计算。然后用 θ 和 φ 算相似度矩阵 A形状是 (R, R)softmax 归一化。这一步的复杂度是 O(R²·C)因为 R 通常只有几十到几百完全可控。再用 A 去加权 g得到区域级的输出 (B, C, R)。第三步是广播回像素。把区域输出上采样回原来的 (T, H, W) 分辨率这一步用三线性插值就行因为时间维度的采样点数和原来一样实际上就是每帧做一次双线性插值。最后接一个 1×1×1 卷积做通道融合加上残差连接和可学习的缩放系数 γγ 初始化为 0保证训练初期这个分支是恒等映射不会破坏预训练权重。这个“γ 初始化为零”的细节非常关键。Non-local 类模块如果一开始就带着随机初始化参与前向预训练模型的输出分布会被打乱前几个 epoch loss 会剧烈震荡。我在第一次实现时没注意loss 曲线前 2000 步像心电图一样加了零初始化之后立刻平滑。这个技巧现在已经是标配但自己从零写的时候很容易忘。2.2 划分策略固定网格还是可学习聚类区域怎么划直接影响效果和工程复杂度主流有两条路。固定网格划分是把特征图均匀切成 r×r 个格子实现上就是一个 adaptive_avg_pool 加 interpolate没有任何自定义算子导出、量化、部署都很友好。缺点是网格边界和真实语义边界对不上一个人的身体可能被切到四个格子里区域表征就被稀释了。实际用下来r 取 7 是比较好的平衡点取 3 太粗区域内部混杂严重取 14 又太细省不下多少算力。可学习聚类是让网络自己学一组聚类中心每个像素按软分配权重归到各个中心。理论上更贴合语义但训练稳定性差聚类中心容易坍缩到少数几个位置需要额外的正则项来约束分配熵。我试过一版前 10 个 epoch 还算正常后面分配矩阵就退化成近似均匀分布等于没聚。想走这条路得配上分配熵约束和中心分离约束工程量翻倍收益不一定对得起。我的建议很明确先用固定网格把整条流水线跑通确认精度和速度都有收益再考虑要不要上聚类。绝大多数场景下固定网格够用了而且它的计算模式规整在推理框架里的算子融合效果好得多。真要提升语义贴合度不如把 r 做成多尺度同时在 r5 和 r7 两个粒度上做区域注意力然后把两路结果加起来代价增加不多效果比单粒度稳。再说时间维度怎么处理。有两种做法一是每个时间步独立做空间区域注意力时间维度完全交给 3D 卷积二是把 (T, r, r) 整体当作区域集合让不同时刻的区域之间也能交互。第一种实现简单但时间上的长程依赖还是没解决第二种才是 RNL 真正的价值所在因为一个动作的起承转合往往跨越几十帧必须让远处的时间片段直接对话。代价是 R 会随 T 线性增长T16、r7 时 R 就到了 784R² 接近 61 万还在可接受范围内但 T 再大就得在时间上做降采样了。2.3 算力与显存的实账核算光说不练没意义把数字摊开算一遍。假设输入特征图 C512T8空间分辨率 28×28那么 N 8×28×28 6272。标准 Non-local 的相似度矩阵是 6272×6272约 3934 万个元素用 float16 存也要 78MB 一个矩阵而且这只是中间结果反向传播还要存实际显存占用得乘个三四倍。换成 RNLr7R 8×7×7 392。相似度矩阵 392×392 只有 15.4 万个元素显存不到 0.3MB中间省略了 250 倍。就算把像素到区域的上采样和广播算进去总计算量也降了两个数量级。配置特征尺寸 (T×H×W)元素数 N区域数 R注意力矩阵规模相对算力Non-local8×28×286272不适用6272²1.00RNL r58×28×286272200200²0.006RNL r78×28×286272392392²0.012RNL r148×28×28627215681568²0.063Non-local16×56×5650176不适用50176²64.0最后一行是关键。表里把 Non-local 在 16×56×56 上的配置作为对比相对算力到了 64 倍也就是说同一个位置RNL 在 8×28×28 上做一次的开销够你在 16×56×56 上做六十多次。这就是为什么 Non-local 只能用在高层的低分辨率特征图上而 RNL 可以往下铺。我实际测下来在 8×28×28 上加一个 RNL 块单次前向的耗时增加不到 3%显存增加约 40MB放到 16 帧 112×112 的输入下完全扛得住。注意上面的“相对算力”只算了注意力矩阵本身实际还要加上池化、插值和三路 1×1×1 卷积的开销。通道数被压到 C/2 之后这三路卷积的占比会上升在极端小的 R 下比如 r3卷积反而不是瓶颈池化和插值才是做性能优化时优先看插值。3. 把RNL模块写进视频分类主干3.1 模块代码与关键实现细节下面是我实际在用的实现PyTorch 版本去掉了不必要的分支只保留固定网格这一条路线。输入是 5D 张量通道在前。import torch import torch.nn as nn import torch.nn.functional as F class RegionNonLocal(nn.Module): def __init__(self, channels, region7, reduction2, use_temporalTrue): super().__init__() inner max(channels // reduction, 16) self.region region self.use_temporal use_temporal self.theta nn.Conv3d(channels, inner, 1, biasFalse) self.phi nn.Conv3d(channels, inner, 1, biasFalse) self.g nn.Conv3d(channels, inner, 1, biasFalse) self.proj nn.Conv3d(inner, channels, 1, biasFalse) self.bn nn.BatchNorm3d(channels) self.gamma nn.Parameter(torch.zeros(1)) def forward(self, x): B, C, T, H, W x.shape r self.region # 1. 区域聚合均匀网格平均池化 if self.use_temporal: pooled F.adaptive_avg_pool3d(x, (T, r, r)) else: pooled F.adaptive_avg_pool3d(x, (T, 1, 1)).expand(-1, -1, -1, r, r) theta self.theta(pooled).flatten(2) # (B, C, R) phi self.phi(pooled).flatten(2) # (B, C, R) g self.g(pooled).flatten(2) # (B, C, R) # 2. 区域级注意力 attn torch.bmm(theta.transpose(1, 2), phi) # (B, R, R) attn F.softmax(attn * (theta.shape[1] ** -0.5), dim-1) z torch.bmm(g, attn.transpose(1, 2)) # (B, C, R) z z.view(B, -1, T, r, r) # 3. 广播回像素 z z.permute(0, 2, 1, 3, 4).contiguous().view(B * T, -1, r, r) z F.interpolate(z, size(H, W), modebilinear, align_cornersFalse) z z.view(B, T, -1, H, W).permute(0, 2, 1, 3, 4).contiguous() z self.bn(self.proj(z)) return x self.gamma * z几个实现要点值得单独说。第一相似度缩放。加了个theta.shape[1] ** -0.5也就是除以 sqrt(通道数)。这不是原版 Non-local 的做法但在实际训练里非常有用因为区域特征经过 1×1×1 卷积之后数值范围差异很大不缩放的话 softmax 容易饱和注意力直接退化成独热等于只取了最大的那个区域。加上缩放之后注意力的熵明显更高说明模型在真正做“加权融合”而不是“硬选择”。第二上采样的内存布局。先把 (B, C, T, r, r) 重排成 (B×T, C, r, r) 再做双线性插值这样 interpolate 就只需要处理 4D 张量少一次三线性插值的核调度。实测在 T16 的时候这一步能省 15% 左右的耗时。插值完再重排回去虽然多了两次 permute 和 contiguous但整体是值的。第三BatchNorm 放在投影卷积之后。不加 BN 的话广播回来的特征和主干特征的分布差异很大直接相加会让后面的层很难适应。加了 BN 之后训练稳定很多代价是推理时需要额外维护一组统计量影响不大。第四use_temporalFalse这个分支保留了用来做消融。关掉之后退化成一个全局空间池化区域内只有一个点本质上就是不带时间交互的空间注意力。我建议先用 False 跑一版作为基线再开 True 看增量这样能清楚知道收益来自哪里。3.2 插入位置、层数和时空维度处理模块写完了插在哪是个经验活。常见做法是把 Non-local 块插在残差阶段之后比如骨干网络的 res3 和 res4 各插几个。RNL 因为便宜可以往前挪一挪插到 res2 的末尾通常是 28×28 的分辨率也不过分。我自己跑的一组配置是res2 末尾插 1 个res3 末尾插 2 个res4 末尾插 2 个总共 5 个。太少没感觉太多会拖慢收敛而且后面几个块的注意力图高度相似边际收益递减。有篇工作做过类似实验插到 5 个之后再往上加准确率的提升基本在噪声范围内。时间维度的处理上我把use_temporal打开之后区域数 R 会变成 T×r×r这时候要注意显存随 T 线性增长。T32、r7 时 R 就是 1568R² 是 246 万虽然比 N² 小得多但 batch size 开大之后还是能吃满显存。如果显卡不够有两个妥协方案一是在时间维度上也做池化把 T 压到 T/2 再算注意力二是把相似度矩阵改成稀疏计算只保留每个区域 top-k 个相似区域k 取 16 或 32softmax 在稀疏矩阵上做。第二种方案我在一个长视频任务上试过精度损失不到 0.3 个点显存省了 60%。还有个小坑adaptive_avg_pool3d在 T 不能被整除的时候行为不是特别直观如果你的时间维度做过下采样导致 T 是奇数最好先补一帧到偶数再池化或者干脆把 r 在时间上单独设成 T 本身也就是不做时间下采样。我在一个变长视频的任务里就因为这个出过问题同一段视频在不同采样长度下区域划分对不齐导致 batch 内的统计量不稳定。3.3 训练配方与调参记录训练配置这块把我在视频分类任务上跑通的一套给出来仅供参考具体要按你的数据量调整。优化器用 SGDmomentum 0.9weight decay 1e-4不用 Adam因为视频任务的 batch 通常不大Adam 的泛化性在小 batch 下反而不如 SGD。学习率做 cosine 退火初始 0.01配上 5 个 epoch 的线性 warmup。batch size 是 8 段 × 8 帧也就是一次喂 64 帧。混合精度训练打开梯度裁剪设 1.0防止注意力分数爆炸导致的梯度尖峰。输入尺寸我用的 112×112不是 224。原因很实际224 分辨率下同等的显存只能跑一半的 batch而视频任务里 batch 内的负样本多样性比单帧分辨率更重要。如果显存充裕可以试 160×160再往上收益不明显。超参数取值调整理由优化器SGD小 batch 下泛化优于 Adam初始学习率0.01配合 cosine 与 warmupwarmup epoch5稳定注意力模块初期的梯度权重衰减1e-4抑制区域投影卷积过拟合梯度裁剪1.0防止 softmax 饱和引起尖峰输入分辨率112×112分辨率与 batch 的折中采样帧数8 或 1616 帧时显存约翻倍精度混合精度注意力矩阵用 fp16 存储一个反直觉的观察加了 RNL 之后训练 epoch 总数要适当减少不能照搬基线。因为注意力模块带来的收敛加速是实打实的基线要 100 个 epoch 才收敛加了 RNL 之后 80 个 epoch 就到平台了再多训会开始过拟合。我一开始没注意按 100 个 epoch 跑最后 20 个 epoch 验证集准确率反而掉了 0.8 个点。还有一个调参点是 γ 的初始值。虽然标准做法是零初始化但如果你的骨干网络是从零开始训练而不是加载预训练权重γ 初始化为 0 会让这个分支在前期完全不起作用白白浪费训练时间。这种情况下可以初始化为 0.1 或者用一个小的高斯初始化让它在早期就参与梯度更新。3.4 消融与结果解读跑了四组对照固定随机种子其他配置完全一致只改 RNL 的配置结果如下。配置是否含时间交互区域粒度插入层数准确率相对基线基线无注意力无无0基准 - 0.00.0空间区域注意力否7×751.61.6时空区域注意力是7×752.72.7时空区域注意力是5×552.42.4时空区域注意力是14×1452.82.8表格里最后一行看起来很香r14 比 r7 还高 0.1 个点但代价是算力涨了五倍多性价比完全不划算。实用推荐还是 r7。空间注意力和时空注意力之间的 1.1 个点差距说明时间维度的交互确实是主要收益来源这也是我在前面强调use_temporal要单独做消融的原因。再补一个观察把插入层数从 5 减到 3只保留 res3 和 res4准确率只掉了 0.4 个点速度却快了近 20%。如果你的推理延迟有硬约束这个裁剪是值得做的。反过来如果只保留 1 个块在 res4掉 1.5 个点说明单一位置的注意力无法覆盖多尺度的依赖关系。还有一点注意力图可视化之后能看出一些有意思的模式。在动作识别的例子里区域注意力高亮的区域确实集中在动作主体和动作相关物体上比如“切菜”这个动作注意力同时落在手、刀和砧板上这三个区域之间形成高相似度连接。这也从侧面说明区域级建模并没有丢太多信息语义对应的区域确实能自动聚到一起。4. 从视频分类回灌人脸识别4.1 视频人脸识别的聚合层到底该怎么设计回到标题的另一半。视频人脸识别的核心问题不是特征提取而是多帧特征怎么聚合成一个。最简单的是平均池化把所有帧的特征加起来除以帧数。这个方法在视频质量好的时候勉强能用但一段视频里总有模糊帧、侧脸帧、遮挡帧平均之后会把噪声也平均进去最终特征反而比单张最好的帧还差。改进方向是加权聚合权重来自质量评估。质量分可以由几个因素构成人脸检测的置信度、关键点对齐的残差、清晰度拉普拉斯方差、姿态角偏离正脸的程度。每个因素归一化之后加权求和得到一个 0 到 1 的质量分再把它当成聚合权重。这套方法在工程上非常好用实现简单不需要额外训练我做过对比在同等的特征提取器下质量加权比平均池化在验证集上的准确率能高出两到三个点。但加权聚合有个前提质量分是准的。如果质量评估本身有偏比如过度惩罚侧脸那你就会把一段本来有信息量的侧脸序列全部压掉。更稳的做法是引入注意力聚合让网络自己学该关注哪一帧。实现上就是一个小的注意力网络输入是每帧特征输出是每帧的标量权重softmax 归一化后加权求和。这个思路和 RNL 的区域注意力在形式上是同构的只不过把“区域”换成了“帧”把“空间相似度”换成了“帧与帧的时序依赖”。这就是我在开头说的技术回灌两边的数学结构完全一致代码可以直接改。4.2 人脸识别工程链路的落地细节真正落地时注意力聚合只是链条上的一环前面几个环节的细节更能决定成败。对齐环节五个点的相似变换是最低配置如果条件允许用 68 点或 98 点做更精细的仿射变换把眼睛、鼻子、嘴巴的位置统一到标准坐标。对齐模板的选择有讲究不同模板下训练出来的模型不通用换模板必须重训。我在一个项目里换过模板同一个验证集上准确率差了两个多点原因是新模板下人脸被裁得更紧边缘信息丢失了。数据清洗环节公开数据集里的噪声比想象中严重。标注错误的、同一个人多个身份标签的、图像本身是重复的这些都会污染训练。我的做法是先训一个小模型跑一遍全集把类内距离特别大的样本和类间距离特别小的样本挑出来人工过一遍通常能清掉 3% 到 5% 的脏数据效果相当于多刷了一轮训练。特征归一化环节前面提过要 L2 归一化但还有个细节是特征维度。512 维是主流维度再高收益很小反而增加存储和检索成本。做 1:N 检索时如果底库规模到了百万级用 512 维的 float32 存就是 2GB配上量化能压到 500MB 以内检索延迟在毫秒级。这个量级下特征维度的取舍要跟检索方案一起考虑不能只盯着准确率。注意做多帧聚合时一定要确认所有帧的特征来自同一个模型版本。中途换模型会导致不同帧的特征落在不同的嵌入空间里聚合出来的结果毫无意义。这类错误在多人协作的项目里出过不止一次。4.3 一个可复现的训练配方把上面的东西串起来给出一个完整的人脸识别训练配方包含度量学习部分。损失用带角度间隔的形式实现如下import math import torch import torch.nn as nn import torch.nn.functional as F class AngleMarginHead(nn.Module): def __init__(self, in_features, num_classes, s64.0, m0.5): super().__init__() self.weight nn.Parameter(torch.empty(num_classes, in_features)) nn.init.xavier_uniform_(self.weight) self.s s self.m m def forward(self, x, label): # x 必须已做 L2 归一化 cos F.linear(F.normalize(x), F.normalize(self.weight)) cos cos.clamp(-1 1e-7, 1 - 1e-7) theta torch.acos(cos) target theta.gather(1, label.view(-1, 1)) self.m one_hot F.one_hot(label, cos.size(1)).float() final torch.where(one_hot.bool(), torch.cos(target), cos) return F.cross_entropy(final * self.s, label)参数选择上s 取 64、m 取 0.5 是通用起点。如果你的类别数很少比如几百个m 可以取 0.3 到 0.4避免训练初期过于困难类别数上万的时候m 取 0.5 甚至 0.6 才有足够的判别力。学习率用 0.1 起步cosine 退火到 0权重衰减 5e-4warmup 用 2 个 epoch。batch size 越大越好因为角度间隔损失本质上是在做对比学习负样本数量直接决定梯度质量能上 512 就别用 256。视频人脸识别的微调策略是分两阶段。第一阶段用静态图训练主干和度量头把单帧能力打扎实第二阶段冻结主干的前几层只训练后几层和聚合模块用视频序列做微调。冻结的层数取决于你的视频数据量数据少就多冻几层数据多可以全放开。我做过对比直接拿视频数据从头训收敛慢且容易过拟合两阶段训法在相同数据量下验证集准确率高出接近 4 个点。5. 常见问题与排查速查5.1 显存与速度类问题第一个高频问题是训练刚开始就 OOM。分两种情况如果加上 RNL 之后才爆先用torch.cuda.memory_allocated()打印各阶段的显存重点看相似度矩阵那一步。R 太大的话把 r 从 7 降到 5或者把use_temporal关掉先跑通。如果是上采样那一步爆检查是不是 T 太大把 T 从 32 降到 16 试试。第二个问题是训练速度比预期慢很多。先 profile 一下看时间花在什么上。很多人以为是注意力矩阵实际上小 R 的情况下时间主要花在interpolate和contiguous上。优化手段是减少不必要的 permute把上采样前的重排做成 view 而不是 reshape确保张量是连续的。另外adaptive_avg_pool3d在 T 和 r 都不是 2 的幂时kernel 调度效率会下降能凑成 2 的幂就凑一下。第三个问题是推理时的显存占用远小于训练但延迟没降下来。这是因为混精训练时注意力矩阵是 fp16但推理框架可能把它自动升到了 fp32。检查一下导出后的计算图确认所有节点都在预期精度上。5.2 精度不涨与掉点类问题现象可能原因排查手段处理方式加 RNL 后精度不涨γ 未初始化或学习率过低打印 γ 的绝对值γ 用零初始化学习率恢复 1.0前 10 epoch loss 剧烈震荡注意力分支破坏预训练分布观察 loss 曲线前 2000 步加 BNγ 零初始化精度先涨后掉过拟合对比训练和验证曲线减少 epoch加 dropout注意力图几乎全黑softmax 饱和打印注意力熵加 sqrt(C) 缩放换成大 r 后反而变差区域过细注意力稀疏对比不同 r 的结果r 取 5 到 7多卡训练后精度下降BN 统计量跨卡不同步检查 BN 的 sync 设置改用 SyncBN前面几行基本覆盖了我遇到的主要情况。特别说一下“注意力图全黑”这个打印注意力矩阵的熵是最快的诊断手段正常情况下熵应该在 log(R) 的 60% 到 80% 之间如果低于 30%基本可以确定是饱和了缩放系数和初始化都要检查。还有一个容易被忽略的点如果你的骨干网络用了预训练权重而 RNL 是随机初始化的两者在初期的特征尺度可能差一个数量级。这时候残差相加会把主干的输出带偏表现为前几个 epoch 精度断崖式下降。除了 γ 零初始化还可以在投影卷积之后加一个 LayerNorm把输出的尺度拉回来。5.3 跨任务迁移时最容易踩的坑从视频分类往人脸识别迁移最容易犯的错是直接照搬超参数。视频分类的输入是 8 到 32 帧的连续片段人脸识别的视频序列可能只有 3 到 5 帧而且帧间间隔不均匀可能是关键帧采样不是均匀采样。这种情况下时间维度上的区域划分就失去了均匀网格的前提需要改成按实际帧数动态划分或者干脆不做时间池化直接用注意力聚合。第二个坑是空间分辨率不匹配。视频分类常见的特征图是 28×28人脸识别在对齐之后裁切出来的图通常是 112×112特征图在最后阶段可能到 7×7。这个尺寸下再划 7×7 的区域等于每个区域就一个像素区域注意力退化成了像素注意力不仅没省算力还多了插值开销。人脸场景下区域数要相应减少5×5 对应 7×7 的特征图就够粗了或者把区域注意力放到更浅的层去做。第三个坑是评估协议的差异。视频分类看 top-1 准确率人脸识别看的是 1:1 验证的准确率和 1:N 检索的召回率评估时用的阈值也不同。把视频分类的模型直接搬到人脸识别上即使特征本身有判别力阈值不对也会让指标看起来很差。我建议先在小的验证集上扫一遍阈值找到等错误率最低的点再拿到大集上测。我自己在实际操作中的体会是RNL 这种区域级注意力最大的价值不在于某个具体任务的涨点而在于它把自注意力的成本压到了可以在多处、多尺度使用的程度。一旦成本不再是障碍你就可以在网络的浅层、中层、深层都铺上让不同尺度上的长程依赖都能被捕捉到。这个思路用到人脸识别上把“区域”理解成“人脸部件”甚至“视频里的关键帧”数学结构完全不用改改的只是划分规则和聚合对象。真正花时间的从来不是写这个模块而是搞清楚在你的数据上哪些东西该被当成一个区域以及这些区域之间的关系值不值得建模。