论文笔记DySL-VLAEfficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for Robot Manipulation背景视觉-语言-动作模型VLA把 VLM 的语言推理与视觉三维理解融合起来用动作即 token的方式直接生成机器人控制指令。但它的推理延迟长期卡在一个尴尬的位置RT-2 的动作生成频率只有 1–3 HzOpenVLA 为 3–5 Hz而真实物理交互需要 20–50 Hz 以上。延迟的根源高度集中。论文给出一个关键数据LLM 骨干贡献了 OpenVLA 84.3% 的推理延迟、OpenVLA-OFT 75.4% 的推理延迟——也就是说VLA 的慢几乎等同于其语言骨干的慢。已有的加速手段量化、剪枝、Mixture-of-Layers、early-exit都有一个共同的盲点对每个动作分配等量计算。但机器人操作里动作的重要性并不均等抓取、释放这类关键步骤对精度要求极高而抓取前的预位、自由空间移动等预备动作则容错度大得多。论文 Fig. 1 用加噪实验直接展示了这一点——在重要动作步上注入权重噪声任务完成率随噪声量级下降得明显更快。既有方法还有两个结构性问题early-exit 要么训练多个动作头要么引入 adapter 去逼近最终动作头而 DeeR-VLA 走的是大练多动作头路线需要12 亿可训练参数、9.2×10⁴ 步、112 GPU 小时还可能破坏 VLA 的泛化能力。另外在 VLA 上直接照搬 LLM 的跳层方案效果很差因为重要动作上一点点误差就可能导致任务失败。论文链接arXiv:2602.22896北京大学、北京智源等代码开源中心思想DySL-VLA 的出发点是两条观察观察 1VLA 各层重要性差异极大。通过计算相邻层输出激活的平均余弦相似度论文发现只有少数信息层会显著改变激活分布一旦跳过这些层性能断崖式下跌。观察 2VLA 对重要动作高度敏感。因此跳层决策不能一刀切必须对重要动作施加更严格的保留约束。由此得到方法主线——静态-动态分层跳层把会显著改变激活分布的层划为静态层推理时始终执行其余划为动态层可按需跳过。需要特别澄清的是重要动作要跑完整模型是常见误读。重要动作走的是静态层全保留 允许点后移、尽量多的动态层也被强制保留的路径只有先验预判为平缓的动态段才真正启用跳层而首次检出动作变剧烈时还会触发后验重算见下这一步才是不跳过任何层。换句话说代价是按动作重要性分级而不是二元开关。方法要回答两个问题何时跳跳层引导与跳哪些层静态/动态划分。主要方法1. 静态层 / 动态层划分跳哪些层用相邻层输出激活的平均余弦相似度衡量每层的信息量相似度骤降的层即为信息层划为静态层、永不跳过其余为动态层。两个设计细节值得注意整段跳过而非逐层跳过。一旦决定跳过激活直接送往下一个静态层而不是像 FlexiDepth 那样一次只跳一层——后者加速率低且 controller 与 adapter 的串行开销被成倍放大。Adapter 补偿。被跳过的动态层并非零信息否则精度会崩论文为每个动态层配一个轻量前馈 adapter用距离损失去拟合被跳若干层之后的输出作为下一静态层的输入。这在作者看来是合理的因为被跳层对激活分布的改变本就在 adapter 的拟合能力之内。静态层比例是唯一的相关超参论文消融显示 10%–30% 区间内精度与延迟都稳定取 20% 为宜。2. 允许点机制 先验-后验引导何时跳连续性定义。用最近T TT个动作的差分刻画轨迹连续性C t 1 T − 1 ∑ k t − T 1 t ∥ A k − A k − 1 ∥ 2 C_t \frac{1}{T-1}\sum_{kt-T1}^{t} \lVert A_k - A_{k-1} \rVert^2CtT−11kt−T1∑t∥Ak−Ak−1∥2论文发现轨迹大部分时间连续性良好遥操作者在非关键动作时倾向匀速而在精细操作抓取、释放处连续性被打破——频繁的停顿、微调和犹豫把运动切成了不连续段。连续性差 ⇒ 动作重要。允许点skipping-allow point。在相邻两个静态层之间定义一个允许点允许点之前的动态层强制保留controller 被关闭允许点之后才由 controller 决定是否跳过。允许点位置按连续性变化自适应移动连续性下降动作变剧烈→ 允许点快速前移更多动态层被强制保留连续性改善 → 允许点缓慢后退逐步放开跳层。这种快进慢退的滞后式设计论文称之为 hysteresis-like最大化保护了关键动作。允许点依据的是前T 5 T5T5个动作的轨迹而非单步因为连续模式下重要动作的差分值会被稀释消融显示T 5 T5T5优于 1/3/7/9且自适应步长优于一切固定步长。先验预判pre-skip prediction。仅由 controller 决定跳过并不够由于训练中常引入归一化损失迫使 controller 多跳实际保留的层数在所有动作上都处于很低水平重要动作的正确性无法保证。先验预判在数据进入模型前依据历史轨迹的连续性直接关/开各动态层的 controller——只保留真的会跳的那些 controller 参与推理既提升精度又降低延迟因为 controller 与 VLA 层是串行的本身就是额外开销。后验修正post-skip verification。先验的局限在于当前动作的预测必须在模型推理之前完成因此连续性下降只能在第一个重要动作已被预测之后才被检出。为此论文加了反馈机制——一旦首次检出连续性下降就用完全跳层重新预测当前动作并用重算后的动作更新连续性估计从而提升后续检测的精度。3. Skip-aware 两阶段知识蒸馏冻结 LLM 骨干、只训练 controller 与 adapter可训练参数量因此骤降。但直接把两者一起训练会发散两者都随机初始化、互相干扰——adapter 尚未收敛时controller 会倾向于拒绝跳层以避免任务损失这又反过来阻碍 adapter 学习。分两阶段解决阶段一只训 adapter。用距离损失对齐 adapter 输出与被跳过的动态层最终输出L 1 ∑ t ∥ h t − 1 − L t − 2 ( … ( h t − 1 ) ) ∥ \mathcal{L}_1 \sum_t \left\lVert h_{t-1} - \mathcal{L}_{t-2}\big(\dots(h_{t-1})\big) \right\rVertL1t∑ht−1−Lt−2(…(ht−1))阶段二controller 与 adapter 联合训练。前向时对跳/不跳做概率加权的可微化h P ( skip ) ⋅ h layer ( h t ) ( 1 − P ( skip ) ) ⋅ h t − 1 ( L t − 2 ( … h t − 1 ) ) h P(\text{skip}) \cdot h_{\text{layer}}(h_t) \big(1 - P(\text{skip})\big) \cdot h_{t-1}\big(\mathcal{L}_{t-2}(\dots h_{t-1})\big)hP(skip)⋅hlayer(ht)(1−P(skip))⋅ht−1(Lt−2(…ht−1))总损失为任务损失加上概率加权的跳过距离项L 2 L task α ∑ t ( 1 − P t ( skip ) ) ⋅ ( h t − h ^ t ) \mathcal{L}_2 \mathcal{L}_{\text{task}} \alpha \sum_{t} \big(1 - P_t(\text{skip})\big)\cdot \big(h_t - \hat{h}_t\big)L2Ltaskαt∑(1−Pt(skip))⋅(ht−h^t)直觉是controller 越倾向跳过就越要求 adapter 输出逼近真实输出越不倾向该系数越接近 0。此外还需一个归一化损失防止 controller 永远不跳。训练时还有一个细节用调和衰减概率挑选本轮要训练的层让靠前的动态层被更频繁地选中——它们的 adapter 需要概括更多被跳层。论文明确指出这与 LoRA 有本质区别LoRA 的轻量 adapter 用于微调骨干而这里只是补偿跳层损失。特点优缺点优点在等精度下拿到显著加速。Calvin D→D 上DySL-VLA 3B 平均成功长度 2.89 / 延迟 13.6 ms对比完整 RoboFlamingo 3B 的 2.92 / 51.0 ms——3.75× 加速且精度不降反升LIBERO 上 96.5% 平均成功率、27.4 msA6000对比 OpenVLA-OFT 的 97.1% / 53.0 ms。训练代价数量级低于同类。对比 DeeR-VLA 3B可训练参数 14M vs 1.2B85.7×训练步数 6.7×10³ vs 9.2×10⁴13.7×同时平均成功长度还高出 2.1%。消融干净地支撑了每个设计。静态层比例 10%–30% 均稳定去掉先验预判 → 精度 2.89→2.42且延迟 13.6→20.1 ms一举两得去掉两阶段蒸馏 → 延迟暴涨到 74.0 mscontroller 始终关闭自适应步长优于全部固定步长T 5 T5T5为最优轨迹窗。部署友好。不需要专用 kernel对比量化/剪枝类方法不需要微调 LLM 骨干不需要多个动作头直接适配标准自回归 VLA。分析扎实。明确指出既有跳层方案的两个失效模式——等间隔/全跳末尾忽略层重要性差异以及 controller 串行带来的额外延迟——并用 Fig. 4 的对比图给出直观证据。缺点不是免训练也不压缩模型。需要离线做层间相似度扫描、训练 controller 与 adapter模型权重本身不变显存占用与参数量完全不减少只减少计算量。仍有精度折损。在部分指标上未追平原模型Calvin 上 2.89 vs 2.92LIBERO 平均 96.5% vs 97.1%。加速与精度的权衡需要按任务标定。只加速 LLM 骨干。视觉编码器未被触及若视觉侧成为瓶颈则收益受限。引导规则是启发式的。连续性阈值、允许点移动步长、轨迹窗T TT都需要调参且连续性只是动作重要性的间接代理——某些不改变动作幅度的决策如换抓取策略可能检测不到。仅仿真评测。实验全部在 Calvin 与 LIBERO 上进行未给真机延迟与控制频率的实测仅提到在 A6000 上因 action chunk 一次预测 8 个动作控制频率可达 23.2 Hz。静态层比例需要权衡。比例越低延迟越小但精度略降越高则延迟上升而精度几乎不再提高——20% 是折中点但这一结论来自单一数据集。一句话总结DySL-VLA 把跳层从无差别的均匀压缩改造成按层重要性分级、按动作重要性调节的自适应机制用静态层兜底 允许点分级 先验-后验引导 两阶段蒸馏四个组件把加速比做到 3.75×同时把训练成本压到同类方法的百分之一量级。 
长河君 · 2026/10/15 14:47:57 · 阅读 1.2k 论文笔记：DySL-VLA：Efficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for
论文笔记DySL-VLAEfficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for Robot Manipulation背景视觉-语言-动作模型VLA把 VLM 的语言推理与视觉三维理解融合起来用动作即 token的方式直接生成机器人控制指令。但它的推理延迟长期卡在一个尴尬的位置RT-2 的动作生成频率只有 1–3 HzOpenVLA 为 3–5 Hz而真实物理交互需要 20–50 Hz 以上。延迟的根源高度集中。论文给出一个关键数据LLM 骨干贡献了 OpenVLA 84.3% 的推理延迟、OpenVLA-OFT 75.4% 的推理延迟——也就是说VLA 的慢几乎等同于其语言骨干的慢。已有的加速手段量化、剪枝、Mixture-of-Layers、early-exit都有一个共同的盲点对每个动作分配等量计算。但机器人操作里动作的重要性并不均等抓取、释放这类关键步骤对精度要求极高而抓取前的预位、自由空间移动等预备动作则容错度大得多。论文 Fig. 1 用加噪实验直接展示了这一点——在重要动作步上注入权重噪声任务完成率随噪声量级下降得明显更快。既有方法还有两个结构性问题early-exit 要么训练多个动作头要么引入 adapter 去逼近最终动作头而 DeeR-VLA 走的是大练多动作头路线需要12 亿可训练参数、9.2×10⁴ 步、112 GPU 小时还可能破坏 VLA 的泛化能力。另外在 VLA 上直接照搬 LLM 的跳层方案效果很差因为重要动作上一点点误差就可能导致任务失败。论文链接arXiv:2602.22896北京大学、北京智源等代码开源中心思想DySL-VLA 的出发点是两条观察观察 1VLA 各层重要性差异极大。通过计算相邻层输出激活的平均余弦相似度论文发现只有少数信息层会显著改变激活分布一旦跳过这些层性能断崖式下跌。观察 2VLA 对重要动作高度敏感。因此跳层决策不能一刀切必须对重要动作施加更严格的保留约束。由此得到方法主线——静态-动态分层跳层把会显著改变激活分布的层划为静态层推理时始终执行其余划为动态层可按需跳过。需要特别澄清的是重要动作要跑完整模型是常见误读。重要动作走的是静态层全保留 允许点后移、尽量多的动态层也被强制保留的路径只有先验预判为平缓的动态段才真正启用跳层而首次检出动作变剧烈时还会触发后验重算见下这一步才是不跳过任何层。换句话说代价是按动作重要性分级而不是二元开关。方法要回答两个问题何时跳跳层引导与跳哪些层静态/动态划分。主要方法1. 静态层 / 动态层划分跳哪些层用相邻层输出激活的平均余弦相似度衡量每层的信息量相似度骤降的层即为信息层划为静态层、永不跳过其余为动态层。两个设计细节值得注意整段跳过而非逐层跳过。一旦决定跳过激活直接送往下一个静态层而不是像 FlexiDepth 那样一次只跳一层——后者加速率低且 controller 与 adapter 的串行开销被成倍放大。Adapter 补偿。被跳过的动态层并非零信息否则精度会崩论文为每个动态层配一个轻量前馈 adapter用距离损失去拟合被跳若干层之后的输出作为下一静态层的输入。这在作者看来是合理的因为被跳层对激活分布的改变本就在 adapter 的拟合能力之内。静态层比例是唯一的相关超参论文消融显示 10%–30% 区间内精度与延迟都稳定取 20% 为宜。2. 允许点机制 先验-后验引导何时跳连续性定义。用最近T TT个动作的差分刻画轨迹连续性C t 1 T − 1 ∑ k t − T 1 t ∥ A k − A k − 1 ∥ 2 C_t \frac{1}{T-1}\sum_{kt-T1}^{t} \lVert A_k - A_{k-1} \rVert^2CtT−11kt−T1∑t∥Ak−Ak−1∥2论文发现轨迹大部分时间连续性良好遥操作者在非关键动作时倾向匀速而在精细操作抓取、释放处连续性被打破——频繁的停顿、微调和犹豫把运动切成了不连续段。连续性差 ⇒ 动作重要。允许点skipping-allow point。在相邻两个静态层之间定义一个允许点允许点之前的动态层强制保留controller 被关闭允许点之后才由 controller 决定是否跳过。允许点位置按连续性变化自适应移动连续性下降动作变剧烈→ 允许点快速前移更多动态层被强制保留连续性改善 → 允许点缓慢后退逐步放开跳层。这种快进慢退的滞后式设计论文称之为 hysteresis-like最大化保护了关键动作。允许点依据的是前T 5 T5T5个动作的轨迹而非单步因为连续模式下重要动作的差分值会被稀释消融显示T 5 T5T5优于 1/3/7/9且自适应步长优于一切固定步长。先验预判pre-skip prediction。仅由 controller 决定跳过并不够由于训练中常引入归一化损失迫使 controller 多跳实际保留的层数在所有动作上都处于很低水平重要动作的正确性无法保证。先验预判在数据进入模型前依据历史轨迹的连续性直接关/开各动态层的 controller——只保留真的会跳的那些 controller 参与推理既提升精度又降低延迟因为 controller 与 VLA 层是串行的本身就是额外开销。后验修正post-skip verification。先验的局限在于当前动作的预测必须在模型推理之前完成因此连续性下降只能在第一个重要动作已被预测之后才被检出。为此论文加了反馈机制——一旦首次检出连续性下降就用完全跳层重新预测当前动作并用重算后的动作更新连续性估计从而提升后续检测的精度。3. Skip-aware 两阶段知识蒸馏冻结 LLM 骨干、只训练 controller 与 adapter可训练参数量因此骤降。但直接把两者一起训练会发散两者都随机初始化、互相干扰——adapter 尚未收敛时controller 会倾向于拒绝跳层以避免任务损失这又反过来阻碍 adapter 学习。分两阶段解决阶段一只训 adapter。用距离损失对齐 adapter 输出与被跳过的动态层最终输出L 1 ∑ t ∥ h t − 1 − L t − 2 ( … ( h t − 1 ) ) ∥ \mathcal{L}_1 \sum_t \left\lVert h_{t-1} - \mathcal{L}_{t-2}\big(\dots(h_{t-1})\big) \right\rVertL1t∑ht−1−Lt−2(…(ht−1))阶段二controller 与 adapter 联合训练。前向时对跳/不跳做概率加权的可微化h P ( skip ) ⋅ h layer ( h t ) ( 1 − P ( skip ) ) ⋅ h t − 1 ( L t − 2 ( … h t − 1 ) ) h P(\text{skip}) \cdot h_{\text{layer}}(h_t) \big(1 - P(\text{skip})\big) \cdot h_{t-1}\big(\mathcal{L}_{t-2}(\dots h_{t-1})\big)hP(skip)⋅hlayer(ht)(1−P(skip))⋅ht−1(Lt−2(…ht−1))总损失为任务损失加上概率加权的跳过距离项L 2 L task α ∑ t ( 1 − P t ( skip ) ) ⋅ ( h t − h ^ t ) \mathcal{L}_2 \mathcal{L}_{\text{task}} \alpha \sum_{t} \big(1 - P_t(\text{skip})\big)\cdot \big(h_t - \hat{h}_t\big)L2Ltaskαt∑(1−Pt(skip))⋅(ht−h^t)直觉是controller 越倾向跳过就越要求 adapter 输出逼近真实输出越不倾向该系数越接近 0。此外还需一个归一化损失防止 controller 永远不跳。训练时还有一个细节用调和衰减概率挑选本轮要训练的层让靠前的动态层被更频繁地选中——它们的 adapter 需要概括更多被跳层。论文明确指出这与 LoRA 有本质区别LoRA 的轻量 adapter 用于微调骨干而这里只是补偿跳层损失。特点优缺点优点在等精度下拿到显著加速。Calvin D→D 上DySL-VLA 3B 平均成功长度 2.89 / 延迟 13.6 ms对比完整 RoboFlamingo 3B 的 2.92 / 51.0 ms——3.75× 加速且精度不降反升LIBERO 上 96.5% 平均成功率、27.4 msA6000对比 OpenVLA-OFT 的 97.1% / 53.0 ms。训练代价数量级低于同类。对比 DeeR-VLA 3B可训练参数 14M vs 1.2B85.7×训练步数 6.7×10³ vs 9.2×10⁴13.7×同时平均成功长度还高出 2.1%。消融干净地支撑了每个设计。静态层比例 10%–30% 均稳定去掉先验预判 → 精度 2.89→2.42且延迟 13.6→20.1 ms一举两得去掉两阶段蒸馏 → 延迟暴涨到 74.0 mscontroller 始终关闭自适应步长优于全部固定步长T 5 T5T5为最优轨迹窗。部署友好。不需要专用 kernel对比量化/剪枝类方法不需要微调 LLM 骨干不需要多个动作头直接适配标准自回归 VLA。分析扎实。明确指出既有跳层方案的两个失效模式——等间隔/全跳末尾忽略层重要性差异以及 controller 串行带来的额外延迟——并用 Fig. 4 的对比图给出直观证据。缺点不是免训练也不压缩模型。需要离线做层间相似度扫描、训练 controller 与 adapter模型权重本身不变显存占用与参数量完全不减少只减少计算量。仍有精度折损。在部分指标上未追平原模型Calvin 上 2.89 vs 2.92LIBERO 平均 96.5% vs 97.1%。加速与精度的权衡需要按任务标定。只加速 LLM 骨干。视觉编码器未被触及若视觉侧成为瓶颈则收益受限。引导规则是启发式的。连续性阈值、允许点移动步长、轨迹窗T TT都需要调参且连续性只是动作重要性的间接代理——某些不改变动作幅度的决策如换抓取策略可能检测不到。仅仿真评测。实验全部在 Calvin 与 LIBERO 上进行未给真机延迟与控制频率的实测仅提到在 A6000 上因 action chunk 一次预测 8 个动作控制频率可达 23.2 Hz。静态层比例需要权衡。比例越低延迟越小但精度略降越高则延迟上升而精度几乎不再提高——20% 是折中点但这一结论来自单一数据集。一句话总结DySL-VLA 把跳层从无差别的均匀压缩改造成按层重要性分级、按动作重要性调节的自适应机制用静态层兜底 允许点分级 先验-后验引导 两阶段蒸馏四个组件把加速比做到 3.75×同时把训练成本压到同类方法的百分之一量级。