第一次读完MobileNetV2这篇论文我最大的感受不是“网络又变快了”而是“原来激活函数会在不知不觉中吃掉信息”。大部分做移动端模型的人都知道V1靠深度可分离卷积把计算量压了下来但V2真正解决的是另一个问题在极度压缩的特征空间里怎么保住信息。论文标题里的Inverted Residuals和Linear Bottlenecks两个词后来几乎成了轻量级网络的标准范式。这篇文章是我把读论文和复现时体会最深的东西整理了一遍重点讲那几个很容易被忽略、却直接影响精度的细节也把训练和部署时踩过的坑一并记下来。适合正在做移动端模型、边缘设备部署或者刚开始接触轻量模型设计的读者。1. 为什么V1省了算力却不够聪明两个遗留问题1.1 深度可分离卷积到底怎么省的计算量在聊V2之前得先回看V1。V1的核心工作是把标准卷积拆成两步第一步是深度卷积Depthwise Convolution每个输入通道单独用一个空间滤波器相当于只处理“每个通道内部的平面信息”第二步是逐点卷积Pointwise Convolution用1x1卷积把各个通道的信息混合起来。拆开以后计算量从HWMNKK变成了HWMKK HWMN。当输出通道数N比较大的时候计算量大约只有原来的八分之一到九分之一参数量也同步大幅缩小。省下来的计算量非常可观所以在当时的手机上V1几乎成了“移动端标配”。但这个结构有一个隐患深度卷积不怎么改变通道数它只做单通道内的空间滤波可以说它是轻量网络里负责“看空间”的部件逐点卷积负责“融合通道”但1x1卷积没有空间感受野。也就是说整个网络真正组合空间信息的地方其实非常依赖通道数量是否充足。1.2 计算量没问题信息量出了问题V1在每个卷积之后都用了ReLU包括最后那个把通道数压回去的逐点卷积。一开始大家没怎么在意这件事直到复现时发现一个现象V1在比较小的宽度乘子下精度掉得非常厉害。比如把宽度乘子从1.0降到0.5V1的精度下降幅度明显比预期大。我当时没想明白后来读到V2论文里的一句话才反应过来——ReLU在低维空间里会破坏信息流形。这句话说得学术实际含义就是当特征图被压缩到通道数很少的时候再经过一个ReLU很多原本有用的响应会被直接置成0。如果这个“置0”恰好发生在信息表达最紧凑的那个瓶颈层网络就很难把这些信息恢复回来了。V1虽然省了算力但它没有考虑到最后那层1x1卷积的降维和ReLU叠加起来会造成多大的信息损失。这也是V2想解决的核心问题。2. Linear BottleneckReLU在低维空间里是怎么“毁掉”特征的2.1 ReLU是一条单侧截断线不是安全激活函数要理解Linear Bottleneck得先看清楚ReLU到底在做什么。ReLU的公式是y max(0, x)对正数部分完全不变对负数部分全部抹掉。单独看一个神经元它输入如果是负的输出就是0如果输入分布比较均匀地分布在正负两侧这个神经元至少会丢失一半的信息量。那为什么之前大家都不担心因为在深度网络的高维空间里单个神经元丢点是可接受的。每个特征模式往往被冗余地分布在多个通道上这一路ReLU把某些通道置0了其他通道可能还有备份。神经元有冗余性所以用ReLU在高层卷积里问题不大。但这个逻辑有个前提通道数要够多。一旦通道被压得很低比如从256维压到8维信息就集中存放在这8个数里此时任何一个ReLU把负数部分抹掉就真的会从8个数里抹掉一部分信息。低维空间里没有备份可以让信息“换条路走”于是信息损失变得不可逆。2.2 低维流形被压扁的直观例子举一个具体的例子。假设某个网络层期望输出的特征是一个二维平面上的圆环分布你希望保留住这个圆环的形状后续分类器才能根据圆环位置区分不同类别。如果这个层之前做了一次线性变换W把圆环变换到了某个二维坐标系然后接ReLUReLU会把所有坐标为负的区域整个压到x0或y0上圆环直接被压扁成两条线形状信息几乎全没了。但如果这个层之前把圆环映射到了高维空间比如把同一个二维圆环先嵌入到30维空间ReLU在这个高维空间里即便把某些维度的负半轴置0圆的二维结构仍然可以通过剩余维度的组合表达出来。这也是为什么论文会说“ReLU对输入流形的保持程度取决于它工作的空间维度”。低维空间里的ReLU约等于拿了个锤子把信息砸扁高维空间里的ReLU顶多算是剪掉了几根旁枝。这不是玄学是实际可复现的观察。2.3 结论高维空间放心用ReLU瓶颈层要换成线性基于这个观察V2论文给出的方案非常直接在整条信息流被压到最低维度的那一层也就是所谓的Bottleneck层不要放ReLU直接接线性输出。翻译成网络结构就是——最后一个把通道数降回去的逐点卷积后面不再跟激活函数。这就是Linear Bottleneck名字的由来瓶颈的末端是线性映射不是非线性映射。第一次实现的时候我其实心里打鼓去掉激活函数会不会让网络表达能力变差毕竟大家习惯了“卷积BNReLU”一条龙。后来看到论文里的对比实验同样的结构瓶颈层用线性比用ReLU在ImageNet上精度高了差不多2%左右。原因就是上面说的在低维空间里ReLU造成的破坏大于非线性带来的增益。这个结论适用范围挺广后来很多轻量网络都沿用了这个设计。3. Inverted Residual把沙漏倒过来之后速度反而更快了3.1 经典残差块是“窄-宽-窄”倒残差是“宽-窄-宽”ResNet的经典残差块是“窄-宽-窄”结构先用1x1把通道压小在低维空间做3x3卷积再用1x1把通道恢复回去。这么做是为了控制计算量因为3x3卷积是在低维空间做的FLOPs就会小很多。而V2的倒残差完全反过来了先用1x1把通道扩展大然后在高维空间做3x3深度卷积最后用1x1把通道压回原来的低维表示。整个块看起来像个纺锤——中间宽两头窄所以叫Inverted Residual意思就是把经典残差的形状给倒过来了。很多人第一次看到会觉得是同一件事反过来做但两者在信息处理逻辑上完全不同。经典残差是在低维空间里做非线性变换意图是“压缩后再思考”倒残差是先展开再思考意图是“在信息充足的前提下过滤噪声”。对轻量网络来说通道数本身就是稀缺资源与其在低维空间里强行做变换不如先膨胀到更大的通道空间让深度卷积有更充足的信息可供滤波。3.2 为什么先升维再做深度卷积是划算的这里有个很实际的问题升维意味着更多FLOPs为什么最终反而更快关键在于深度卷积的代价。深度卷积的FLOPs非常低因为它只在单通道内做空间卷积不会跨通道融合。但它的表达能力和通道数强相关——如果输入只有16个通道那么深度卷积的输出也就只能依赖这16个通道的空间模式如果先升到96个通道再做深度卷积滤波器要处理的模式就丰富得多。另一个角度是线性瓶颈的配合。理解这个组合1x1升维后ReLU可以在高维空间随意非线性激活因为信息有冗余损失些维度问题不大深度卷积在高维空间工作提取空间特征更充分最后1x1降维到紧凑的低维瓶颈并且不带ReLU把信息完整地压缩传送。整条链路的每一步都符合前面讲的信息保持原则。实测上同样是224x224输入类似规模的经典残差网络大概要3.6 GFLOPs而4.2M参数、300M FLOPs左右的MobileNetV2精度可以追到75%上下。当然不同任务和设备差异很大但至少说明倒残差块的“先铺开再收拢”并不是在浪费算力。3.3 跳跃连接为什么放在最窄的瓶颈位置倒残差块还有一个容易忽略的设计跳跃连接并不是加在中间的高维特征上而是加在降维后的瓶颈特征上。也就是输入x经过1x1升维、深度卷积、1x1降维之后再把x加到最终输出上。这个选择其实有很现实的原因——省内存。中间扩展层通道数是输入通道的t倍t通常取6意味着扩展层的特征图比瓶颈层大6倍。如果跳跃连接加在扩展层推理过程中就要一直保留这个大特征图内存峰值会明显上升。而把跳跃连接放在瓶颈层残差相加只需要缓存输入和输出两张小图大大降低了推理期间的显存占用这对手机这种内存有限的环境非常重要。同时也符合梯度流动的逻辑。残差短接在低维瓶颈梯度可以直接从输出传到输入不需要穿过高维扩展层的非线性变换训练时收敛更稳。4. 结构表逐行拆解t、ReLU6、stride和那些容易被忽视的数字4.1 整张表在说什么从224x224到1x1的流动路径要真正读懂V2光知道倒残差和线性瓶颈还不够还要能把结构表看懂。整张表可以粗略分为三段输入先过一个3x3普通卷积把通道扩展到32然后是17个Bottleneck残差块分成几个阶段每个阶段的输出通道逐步翻倍最后经过1x1卷积扩展到1280维再做全局平均池化送进分类器。阶段内每个Bottleneck块的中间扩展维度是当前输入通道数乘以t通常t6t1时相当于不做扩展。整个网络的降采样全部发生在Bottleneck块的深度卷积步长处当步长为2时特征图空间分辨率减半同时通道数增加此时不添加跳跃连接当步长为1时输入输出分辨率一致如果通道数相同就加跳跃连接。这里用一张简化表来归纳初版配置t6阶段输入尺寸算子输出通道步长0224²3x3 卷积3221112²Bottleneck ×1t11612112²Bottleneck ×2t6242356²Bottleneck ×3t6322428²Bottleneck ×4t6642514²Bottleneck ×3t6961614²Bottleneck ×3t6160277²Bottleneck ×1t6320187²1x1卷积12801从这张表能看出V2并没有一直均匀降采样而是前面几个阶段快速把分辨率压下来中后段则保持在相对小的分辨率上做更多块的特征提炼。这个节奏和很多轻量网络的直觉一致早期特征图大不宜堆太多计算后期特征图小可以靠更多块来增加非线性表达能力。4.2 扩展因子t6的直觉与trade-off扩展因子t是中间通道对输入通道的放大倍数。t越大中间特征越宽深度卷积能看到的模式越丰富但FLOPs也会涨。论文里默认用了t6等于每个块内部先把通道放大6倍再压缩回来。直觉上可以这样理解6倍扩展相当于给深度卷积足够的“工作空间”让它在高维空间提取特征之后还能用线性瓶颈把冗余信息压缩掉。如果你的任务非常简单比如只有十几个类别的小数据集t可以适当调小比如t2或t4能省不少算力。反过来在检测或分割任务上如果你觉得特征不够丰富也可以适当增大t但要留意显存和发热因为扩展层大特征图对内存的冲击是实打实的。4.3 ReLU6不是随便选的低精度推理的稳定性V2的所有激活函数都用了ReLU6即y min(max(0, x), 6)。相比ReLUReLU6把激活值上限限制在6以内。很多入门玩家会觉得这只是“顺便加了个上限”实际上对低精度推理影响很大。移动端和边缘设备经常用FP16甚至INT8推理。如果激活值范围无限增长量化时就需要用更大的scale去覆盖导致数值分辨率下降。ReLU6相当于给激活分布一个自然边界让后续层的数据分布更可控。实测中完全替换成ReLUINT8量化时精度抖动会明显变大这在部署阶段是很吃亏的。当然训练时如果你没有量化需求把所有ReLU都换回ReLU6也完全没问题因为V2从头到尾用的都是ReLU6保持一致最稳。4.4 stride2时为什么没有跳跃连接前面提过stride2的块不加跳跃连接。原因是空间分辨率减半之后输入和输出在空间尺寸上对不上没法直接逐元素相加。如果不加跳跃连接通道增加和空间降采样就自然通过块内完成。有人可能会问能不能用1x1投影来对齐尺寸后加残差理论可以但那样做的代价是额外引入一个带参数的投影分支。在轻量网络里这个开销并不算小而且实验表明收益有限所以最终设计只在stride1且通道数相同的情况下使用残差。这个细节决定了网络能否顺利下采样搭建时如果写错特征图尺寸对不上整个网络都跑不起来。5. 复现、训练和部署阶段踩过的坑5.1 搭建block时的三个高频错误第一处是最后一个1x1卷积后面又接了ReLU。原因很简单习惯了卷积后面必须接激活函数。但线性瓶颈的核心恰恰是这里不要非线性。少接一个ReLU精度能上来不少这是复现时最容易踩的坑。第二处是把stride写到了所有卷积上。实际上stride只需要设置在深度卷积那一层逐点卷积始终用stride1。如果每个卷积都配了stride2特征图会直接缩成原来的四分之一后面的阶段全都乱套。写代码时stride参数应该只传给深度卷积pointwise和升维卷积都要固定用1。第三处是跳跃连接的时机。残差加在降维后输出的特征上不在扩展层中间。如果代码在中间层做加法梯度路径和内存占用都会出问题。我第一次实现时就在扩展层直接跳连结果显存占用直接翻倍精度还掉了一点。用一段简化伪代码来概括就是class InvertedResidual(nn.Module): def __init__(self, inp, oup, stride, expand_ratio): super().__init__() hidden_dim round(inp * expand_ratio) self.use_res (stride 1 and inp oup) layers [] if expand_ratio ! 1: layers.append(conv_bn_relu6(inp, hidden_dim, 1, stride1)) layers.append(conv_bn_relu6(hidden_dim, hidden_dim, 3, stridestride, groupshidden_dim)) layers.append(conv_bn(hidden_dim, oup, 1, activationNone)) # 线性瓶颈无激活函数 self.conv nn.Sequential(*layers) def forward(self, x): if self.use_res: return x self.conv(x) return self.conv(x)这段代码很短但每一行都踩过坑。尤其最后一行的activationNone是整个Linear Bottleneck的落点。5.2 训练收敛与BN、学习率、weight decay的实际观察我用V2做图像分类复现时和同规模的V1对比V2在前几十个epoch收敛明显要慢一些。一开始我以为是结构退化后来发现是BN和weight decay没调好。V2在扩展层之后有大量通道对BN的统计量更敏感batch size比较小的时候BN的moving average会抖建议把batch size保持在一个适中的规模或者用同步BN。学习率上常规的SGDmomentum就能跑不需要花哨的优化器。但weight decay要格外小心V2的倒残差块参数不多如果weight decay设得太大扩展层的特征会缩得很严重精度下降比V1更明显。建议在大规模分类数据集上从1e-5到4e-5之间去调而不是直接用业界常见的1e-4。我踩过一次默认1e-4在V2上训练精度比用4e-5低了整整一个多点。小数据集上也可以考虑t2或t4如果直接照搬ImageNet的t6参数量和训练难度都会偏大。定制网络时可以先在小t上做baseline再逐步加大t观察收益。5.3 低精度量化时Linear层scale设置的一个易错点围绕“线性瓶颈”这个结构的部署问题也有一个坑值得单独拿出来说。因为瓶颈层没有激活函数它的输出分布不会被强行限制在非负区间里可能是一个既包含正数也包含负数的连续分布。做INT8量化的时候大部分框架会根据统计到的tensor min/max来设置scale。如果瓶颈层统计到的分布恰好有一些极端值scale会被拉大反而导致常用值范围内的精度损失变大。我的建议是量化时单独检查瓶颈层的激活分布必要时用百分位裁剪而不是直接取min/max同时结合ReLU6前面的分布特性做校准。如果你用常见部署框架要确认它是不是对“无激活层”有独立的量化策略如果框架把所有层都按同一规则处理这个坑就很容易翻车。实测下来合理设置之后INT8和FP32的精度差可以控制在1%以内如果随意量化掉3-5个点也很正常。5.4 一点关于选型的建议MobileNetV2作为移动端网络的经典选择到今天仍在很多中小型项目里使用。它和后来出现的一些更新架构相比优势在于结构简洁、部署成熟、生态完善各种框架都有直接可用的预训练模型。缺点是它的表达上限相对有限如果你需要处理更复杂的空间结构或小目标建议考虑更强的骨干网络或者在其基础上加一些特征融合结构而不是一味加宽t。我自己比较满意的用法是拿V2当骨干网络配合简单的检测或分割头在资源受限的嵌入式设备上跑能兼顾精度和速度。V2论文里提出的两个概念到现在看也不过时任何做轻量网络的人都值得把Inverted Residual和Linear Bottleneck的动机读透。读过这篇论文之后我再去看其他轻量网络时思考方式确实不一样了。以前看到一个新的卷积块下意识只会数FLOPs和参数量现在会多问一句信息在这个块里流经的最低维度是多少那个位置的激活函数是不是在帮倒忙另外如果在复现过程中也遇到精度和论文对不上可以先检查所有瓶颈层是不是真的没接激活函数再检查stride是不是只加在深度卷积这两个点能排除一大半问题。MobileNetV2不是最快的也不算最新的但它把“如何在受限资源下保留信息”这个思路讲得非常清楚。 
长河君 · 2026/10/17 8:45:57 · 阅读 1.2k MobileNetV2核心解析：倒残差与线性瓶颈如何保住信息
第一次读完MobileNetV2这篇论文我最大的感受不是“网络又变快了”而是“原来激活函数会在不知不觉中吃掉信息”。大部分做移动端模型的人都知道V1靠深度可分离卷积把计算量压了下来但V2真正解决的是另一个问题在极度压缩的特征空间里怎么保住信息。论文标题里的Inverted Residuals和Linear Bottlenecks两个词后来几乎成了轻量级网络的标准范式。这篇文章是我把读论文和复现时体会最深的东西整理了一遍重点讲那几个很容易被忽略、却直接影响精度的细节也把训练和部署时踩过的坑一并记下来。适合正在做移动端模型、边缘设备部署或者刚开始接触轻量模型设计的读者。1. 为什么V1省了算力却不够聪明两个遗留问题1.1 深度可分离卷积到底怎么省的计算量在聊V2之前得先回看V1。V1的核心工作是把标准卷积拆成两步第一步是深度卷积Depthwise Convolution每个输入通道单独用一个空间滤波器相当于只处理“每个通道内部的平面信息”第二步是逐点卷积Pointwise Convolution用1x1卷积把各个通道的信息混合起来。拆开以后计算量从HWMNKK变成了HWMKK HWMN。当输出通道数N比较大的时候计算量大约只有原来的八分之一到九分之一参数量也同步大幅缩小。省下来的计算量非常可观所以在当时的手机上V1几乎成了“移动端标配”。但这个结构有一个隐患深度卷积不怎么改变通道数它只做单通道内的空间滤波可以说它是轻量网络里负责“看空间”的部件逐点卷积负责“融合通道”但1x1卷积没有空间感受野。也就是说整个网络真正组合空间信息的地方其实非常依赖通道数量是否充足。1.2 计算量没问题信息量出了问题V1在每个卷积之后都用了ReLU包括最后那个把通道数压回去的逐点卷积。一开始大家没怎么在意这件事直到复现时发现一个现象V1在比较小的宽度乘子下精度掉得非常厉害。比如把宽度乘子从1.0降到0.5V1的精度下降幅度明显比预期大。我当时没想明白后来读到V2论文里的一句话才反应过来——ReLU在低维空间里会破坏信息流形。这句话说得学术实际含义就是当特征图被压缩到通道数很少的时候再经过一个ReLU很多原本有用的响应会被直接置成0。如果这个“置0”恰好发生在信息表达最紧凑的那个瓶颈层网络就很难把这些信息恢复回来了。V1虽然省了算力但它没有考虑到最后那层1x1卷积的降维和ReLU叠加起来会造成多大的信息损失。这也是V2想解决的核心问题。2. Linear BottleneckReLU在低维空间里是怎么“毁掉”特征的2.1 ReLU是一条单侧截断线不是安全激活函数要理解Linear Bottleneck得先看清楚ReLU到底在做什么。ReLU的公式是y max(0, x)对正数部分完全不变对负数部分全部抹掉。单独看一个神经元它输入如果是负的输出就是0如果输入分布比较均匀地分布在正负两侧这个神经元至少会丢失一半的信息量。那为什么之前大家都不担心因为在深度网络的高维空间里单个神经元丢点是可接受的。每个特征模式往往被冗余地分布在多个通道上这一路ReLU把某些通道置0了其他通道可能还有备份。神经元有冗余性所以用ReLU在高层卷积里问题不大。但这个逻辑有个前提通道数要够多。一旦通道被压得很低比如从256维压到8维信息就集中存放在这8个数里此时任何一个ReLU把负数部分抹掉就真的会从8个数里抹掉一部分信息。低维空间里没有备份可以让信息“换条路走”于是信息损失变得不可逆。2.2 低维流形被压扁的直观例子举一个具体的例子。假设某个网络层期望输出的特征是一个二维平面上的圆环分布你希望保留住这个圆环的形状后续分类器才能根据圆环位置区分不同类别。如果这个层之前做了一次线性变换W把圆环变换到了某个二维坐标系然后接ReLUReLU会把所有坐标为负的区域整个压到x0或y0上圆环直接被压扁成两条线形状信息几乎全没了。但如果这个层之前把圆环映射到了高维空间比如把同一个二维圆环先嵌入到30维空间ReLU在这个高维空间里即便把某些维度的负半轴置0圆的二维结构仍然可以通过剩余维度的组合表达出来。这也是为什么论文会说“ReLU对输入流形的保持程度取决于它工作的空间维度”。低维空间里的ReLU约等于拿了个锤子把信息砸扁高维空间里的ReLU顶多算是剪掉了几根旁枝。这不是玄学是实际可复现的观察。2.3 结论高维空间放心用ReLU瓶颈层要换成线性基于这个观察V2论文给出的方案非常直接在整条信息流被压到最低维度的那一层也就是所谓的Bottleneck层不要放ReLU直接接线性输出。翻译成网络结构就是——最后一个把通道数降回去的逐点卷积后面不再跟激活函数。这就是Linear Bottleneck名字的由来瓶颈的末端是线性映射不是非线性映射。第一次实现的时候我其实心里打鼓去掉激活函数会不会让网络表达能力变差毕竟大家习惯了“卷积BNReLU”一条龙。后来看到论文里的对比实验同样的结构瓶颈层用线性比用ReLU在ImageNet上精度高了差不多2%左右。原因就是上面说的在低维空间里ReLU造成的破坏大于非线性带来的增益。这个结论适用范围挺广后来很多轻量网络都沿用了这个设计。3. Inverted Residual把沙漏倒过来之后速度反而更快了3.1 经典残差块是“窄-宽-窄”倒残差是“宽-窄-宽”ResNet的经典残差块是“窄-宽-窄”结构先用1x1把通道压小在低维空间做3x3卷积再用1x1把通道恢复回去。这么做是为了控制计算量因为3x3卷积是在低维空间做的FLOPs就会小很多。而V2的倒残差完全反过来了先用1x1把通道扩展大然后在高维空间做3x3深度卷积最后用1x1把通道压回原来的低维表示。整个块看起来像个纺锤——中间宽两头窄所以叫Inverted Residual意思就是把经典残差的形状给倒过来了。很多人第一次看到会觉得是同一件事反过来做但两者在信息处理逻辑上完全不同。经典残差是在低维空间里做非线性变换意图是“压缩后再思考”倒残差是先展开再思考意图是“在信息充足的前提下过滤噪声”。对轻量网络来说通道数本身就是稀缺资源与其在低维空间里强行做变换不如先膨胀到更大的通道空间让深度卷积有更充足的信息可供滤波。3.2 为什么先升维再做深度卷积是划算的这里有个很实际的问题升维意味着更多FLOPs为什么最终反而更快关键在于深度卷积的代价。深度卷积的FLOPs非常低因为它只在单通道内做空间卷积不会跨通道融合。但它的表达能力和通道数强相关——如果输入只有16个通道那么深度卷积的输出也就只能依赖这16个通道的空间模式如果先升到96个通道再做深度卷积滤波器要处理的模式就丰富得多。另一个角度是线性瓶颈的配合。理解这个组合1x1升维后ReLU可以在高维空间随意非线性激活因为信息有冗余损失些维度问题不大深度卷积在高维空间工作提取空间特征更充分最后1x1降维到紧凑的低维瓶颈并且不带ReLU把信息完整地压缩传送。整条链路的每一步都符合前面讲的信息保持原则。实测上同样是224x224输入类似规模的经典残差网络大概要3.6 GFLOPs而4.2M参数、300M FLOPs左右的MobileNetV2精度可以追到75%上下。当然不同任务和设备差异很大但至少说明倒残差块的“先铺开再收拢”并不是在浪费算力。3.3 跳跃连接为什么放在最窄的瓶颈位置倒残差块还有一个容易忽略的设计跳跃连接并不是加在中间的高维特征上而是加在降维后的瓶颈特征上。也就是输入x经过1x1升维、深度卷积、1x1降维之后再把x加到最终输出上。这个选择其实有很现实的原因——省内存。中间扩展层通道数是输入通道的t倍t通常取6意味着扩展层的特征图比瓶颈层大6倍。如果跳跃连接加在扩展层推理过程中就要一直保留这个大特征图内存峰值会明显上升。而把跳跃连接放在瓶颈层残差相加只需要缓存输入和输出两张小图大大降低了推理期间的显存占用这对手机这种内存有限的环境非常重要。同时也符合梯度流动的逻辑。残差短接在低维瓶颈梯度可以直接从输出传到输入不需要穿过高维扩展层的非线性变换训练时收敛更稳。4. 结构表逐行拆解t、ReLU6、stride和那些容易被忽视的数字4.1 整张表在说什么从224x224到1x1的流动路径要真正读懂V2光知道倒残差和线性瓶颈还不够还要能把结构表看懂。整张表可以粗略分为三段输入先过一个3x3普通卷积把通道扩展到32然后是17个Bottleneck残差块分成几个阶段每个阶段的输出通道逐步翻倍最后经过1x1卷积扩展到1280维再做全局平均池化送进分类器。阶段内每个Bottleneck块的中间扩展维度是当前输入通道数乘以t通常t6t1时相当于不做扩展。整个网络的降采样全部发生在Bottleneck块的深度卷积步长处当步长为2时特征图空间分辨率减半同时通道数增加此时不添加跳跃连接当步长为1时输入输出分辨率一致如果通道数相同就加跳跃连接。这里用一张简化表来归纳初版配置t6阶段输入尺寸算子输出通道步长0224²3x3 卷积3221112²Bottleneck ×1t11612112²Bottleneck ×2t6242356²Bottleneck ×3t6322428²Bottleneck ×4t6642514²Bottleneck ×3t6961614²Bottleneck ×3t6160277²Bottleneck ×1t6320187²1x1卷积12801从这张表能看出V2并没有一直均匀降采样而是前面几个阶段快速把分辨率压下来中后段则保持在相对小的分辨率上做更多块的特征提炼。这个节奏和很多轻量网络的直觉一致早期特征图大不宜堆太多计算后期特征图小可以靠更多块来增加非线性表达能力。4.2 扩展因子t6的直觉与trade-off扩展因子t是中间通道对输入通道的放大倍数。t越大中间特征越宽深度卷积能看到的模式越丰富但FLOPs也会涨。论文里默认用了t6等于每个块内部先把通道放大6倍再压缩回来。直觉上可以这样理解6倍扩展相当于给深度卷积足够的“工作空间”让它在高维空间提取特征之后还能用线性瓶颈把冗余信息压缩掉。如果你的任务非常简单比如只有十几个类别的小数据集t可以适当调小比如t2或t4能省不少算力。反过来在检测或分割任务上如果你觉得特征不够丰富也可以适当增大t但要留意显存和发热因为扩展层大特征图对内存的冲击是实打实的。4.3 ReLU6不是随便选的低精度推理的稳定性V2的所有激活函数都用了ReLU6即y min(max(0, x), 6)。相比ReLUReLU6把激活值上限限制在6以内。很多入门玩家会觉得这只是“顺便加了个上限”实际上对低精度推理影响很大。移动端和边缘设备经常用FP16甚至INT8推理。如果激活值范围无限增长量化时就需要用更大的scale去覆盖导致数值分辨率下降。ReLU6相当于给激活分布一个自然边界让后续层的数据分布更可控。实测中完全替换成ReLUINT8量化时精度抖动会明显变大这在部署阶段是很吃亏的。当然训练时如果你没有量化需求把所有ReLU都换回ReLU6也完全没问题因为V2从头到尾用的都是ReLU6保持一致最稳。4.4 stride2时为什么没有跳跃连接前面提过stride2的块不加跳跃连接。原因是空间分辨率减半之后输入和输出在空间尺寸上对不上没法直接逐元素相加。如果不加跳跃连接通道增加和空间降采样就自然通过块内完成。有人可能会问能不能用1x1投影来对齐尺寸后加残差理论可以但那样做的代价是额外引入一个带参数的投影分支。在轻量网络里这个开销并不算小而且实验表明收益有限所以最终设计只在stride1且通道数相同的情况下使用残差。这个细节决定了网络能否顺利下采样搭建时如果写错特征图尺寸对不上整个网络都跑不起来。5. 复现、训练和部署阶段踩过的坑5.1 搭建block时的三个高频错误第一处是最后一个1x1卷积后面又接了ReLU。原因很简单习惯了卷积后面必须接激活函数。但线性瓶颈的核心恰恰是这里不要非线性。少接一个ReLU精度能上来不少这是复现时最容易踩的坑。第二处是把stride写到了所有卷积上。实际上stride只需要设置在深度卷积那一层逐点卷积始终用stride1。如果每个卷积都配了stride2特征图会直接缩成原来的四分之一后面的阶段全都乱套。写代码时stride参数应该只传给深度卷积pointwise和升维卷积都要固定用1。第三处是跳跃连接的时机。残差加在降维后输出的特征上不在扩展层中间。如果代码在中间层做加法梯度路径和内存占用都会出问题。我第一次实现时就在扩展层直接跳连结果显存占用直接翻倍精度还掉了一点。用一段简化伪代码来概括就是class InvertedResidual(nn.Module): def __init__(self, inp, oup, stride, expand_ratio): super().__init__() hidden_dim round(inp * expand_ratio) self.use_res (stride 1 and inp oup) layers [] if expand_ratio ! 1: layers.append(conv_bn_relu6(inp, hidden_dim, 1, stride1)) layers.append(conv_bn_relu6(hidden_dim, hidden_dim, 3, stridestride, groupshidden_dim)) layers.append(conv_bn(hidden_dim, oup, 1, activationNone)) # 线性瓶颈无激活函数 self.conv nn.Sequential(*layers) def forward(self, x): if self.use_res: return x self.conv(x) return self.conv(x)这段代码很短但每一行都踩过坑。尤其最后一行的activationNone是整个Linear Bottleneck的落点。5.2 训练收敛与BN、学习率、weight decay的实际观察我用V2做图像分类复现时和同规模的V1对比V2在前几十个epoch收敛明显要慢一些。一开始我以为是结构退化后来发现是BN和weight decay没调好。V2在扩展层之后有大量通道对BN的统计量更敏感batch size比较小的时候BN的moving average会抖建议把batch size保持在一个适中的规模或者用同步BN。学习率上常规的SGDmomentum就能跑不需要花哨的优化器。但weight decay要格外小心V2的倒残差块参数不多如果weight decay设得太大扩展层的特征会缩得很严重精度下降比V1更明显。建议在大规模分类数据集上从1e-5到4e-5之间去调而不是直接用业界常见的1e-4。我踩过一次默认1e-4在V2上训练精度比用4e-5低了整整一个多点。小数据集上也可以考虑t2或t4如果直接照搬ImageNet的t6参数量和训练难度都会偏大。定制网络时可以先在小t上做baseline再逐步加大t观察收益。5.3 低精度量化时Linear层scale设置的一个易错点围绕“线性瓶颈”这个结构的部署问题也有一个坑值得单独拿出来说。因为瓶颈层没有激活函数它的输出分布不会被强行限制在非负区间里可能是一个既包含正数也包含负数的连续分布。做INT8量化的时候大部分框架会根据统计到的tensor min/max来设置scale。如果瓶颈层统计到的分布恰好有一些极端值scale会被拉大反而导致常用值范围内的精度损失变大。我的建议是量化时单独检查瓶颈层的激活分布必要时用百分位裁剪而不是直接取min/max同时结合ReLU6前面的分布特性做校准。如果你用常见部署框架要确认它是不是对“无激活层”有独立的量化策略如果框架把所有层都按同一规则处理这个坑就很容易翻车。实测下来合理设置之后INT8和FP32的精度差可以控制在1%以内如果随意量化掉3-5个点也很正常。5.4 一点关于选型的建议MobileNetV2作为移动端网络的经典选择到今天仍在很多中小型项目里使用。它和后来出现的一些更新架构相比优势在于结构简洁、部署成熟、生态完善各种框架都有直接可用的预训练模型。缺点是它的表达上限相对有限如果你需要处理更复杂的空间结构或小目标建议考虑更强的骨干网络或者在其基础上加一些特征融合结构而不是一味加宽t。我自己比较满意的用法是拿V2当骨干网络配合简单的检测或分割头在资源受限的嵌入式设备上跑能兼顾精度和速度。V2论文里提出的两个概念到现在看也不过时任何做轻量网络的人都值得把Inverted Residual和Linear Bottleneck的动机读透。读过这篇论文之后我再去看其他轻量网络时思考方式确实不一样了。以前看到一个新的卷积块下意识只会数FLOPs和参数量现在会多问一句信息在这个块里流经的最低维度是多少那个位置的激活函数是不是在帮倒忙另外如果在复现过程中也遇到精度和论文对不上可以先检查所有瓶颈层是不是真的没接激活函数再检查stride是不是只加在深度卷积这两个点能排除一大半问题。MobileNetV2不是最快的也不算最新的但它把“如何在受限资源下保留信息”这个思路讲得非常清楚。