摘要模型装不进单卡就得切但切在哪一层、切多少份直接决定通信量切得好通信少一半切错了加卡之后延迟反而更高。本文讲推理侧张量并行的切法要点——为什么常见一层按列切另一层按行切、并行度的拐点在哪、以及它和批大小与互联带宽的关系。2026 奇点智能技术大会11 月 20-21 日·北京万达文华酒店AI 算力与推理优化专题会讨论这类部署取舍。▸ 核心结论并行度不是越高越好过了拐点通信增长盖过计算收益端到端反而变慢▸ 关键权衡批越大通信占比越低、并行越划算代价是首 token 延迟上升▸ 适合谁读做推理部署的工程师——加卡之前先分清是显存不够还是延迟不达标本文的结构 两种切法 一 张量并行 vs 流水并行的直观差异 | 切在哪 二~三 最省的切法 / 通信量怎么估 | 约束 四~五 互联带宽 / 与批大小的关系 | 落地 六~八 常见坑、衔接大会、落地顺序 显存只差一点时先考虑量化和缓存优化别急着上并行一、两种切法的直观差异张量并行把每一层的权重矩阵切成几块分到不同卡上每层计算完都要一次通信把结果拼起来。流水并行把不同层放到不同卡上数据像流水线一样从第一段流到最后一段卡之间只在边界传激活值。直观上张量并行通信次数多、每次量小、延迟低流水并行通信次数少、单次量大、但存在填充气泡。推理服务通常更看重延迟稳定所以偏向张量并行除非模型层数极多。两种切法对显存的作用也不同。张量并行把每层的权重分摊到多卡显存下降随并行度线性流水并行只要求单卡装得下层显存下降是阶梯式的。实际部署里常见的是两者结合先在层内切再把层分段。这样既降低单卡显存压力又控制通信总量代价是并行配置的调优空间变大。还有一种介于两者之间的做法是按层分组的混合并行一部分层用张量并行一部分用流水。它可以按层对通信的敏感度做差异化处理代价是配置复杂度上升。二、切在哪一层最省切分位置通信量说明按列切后接按行切每层一次最常见的组合通信量最小全按列切每层一次且更大需要额外归约一般不选只切部分层减少但负载不均适合显存刚好差一点经典的组合是相邻两个权重矩阵一个按列切、一个按行切这样中间结果不需要通信只在层输出处做一次归约。这是把通信量压到最小的关键设计几乎成了默认做法。切分位置的选择还受权重形状影响。某些层的隐藏维不便于整除强行切分会产生填充或不对称既不省带宽也不省显存反而带来额外的边界处理。工程上通常把不易切分的层整体放在一张卡上其余层正常切。这种混合切分需要框架支持不规则映射实现复杂度比统一切分高。切分位置的选择还受框架实现影响。有些框架对特定切分模式有专门优化换一种切法虽然理论通信量相近实际效率却差别明显所以要参考框架的推荐做法。相邻两个权重矩阵的经典组合每层只需一次通信 X -- [ W1 按列切 ] -- 中间结果 -- [ W2 按行切 ] -- 归约 -- 输出 [W1a][W1b] [W2a] | | [W2b] GPU0 GPU1 GPU0 GPU1 为什么这样最省中间结果天然不需要跨卡拼接只在层输出处归约一次 反面两层都按列切 - 中间还要再归约一次 - 通信量翻倍 并行度拐点示意必须实测 低并行度 通信占比小延迟随并行度下降 - 值得加 拐 点 通信增长开始追上计算收益 - 这里是延迟最低点 高并行度 通信主导加卡反而变慢 - 别再加 批大小的影响 批变大 - 计算增长快于通信 - 通信占比下降 - 高并行度更划算 但首 token 延迟上升。交互场景优先降并行度宁可多占几张卡做副本 互联带宽是硬约束并行度通常限制在机内卡数以内除非有更高带宽的互联方案三、通信量怎么估单次通信量与激活值大小成正比也就是批大小乘隐藏维乘数据类型字节数。张量并行度翻倍单卡上要传的份额变小但通信次数不变所以总通信量随并行度线性增长。这说明张量并行度不是越高越好。超过某个点之后通信时间会超过计算时间的下降幅度端到端延迟反而上升。这个拐点与互联带宽强相关必须实测。估算通信量时别忘了解码阶段的特点。生成阶段的批很小、序列很长通信量与计算量的比值比预填充阶段高得多所以并行度的最优值在两个阶段可能不同。这也是分离式计算与统一计算架构差异的来源之一。把两个阶段放在不同配置的集群上各取最优并行度能拿到比统一配置更好的整体效率。估算时还要把通信的启动开销算进去。并行度高时单次消息变小启动开销占比上升这条曲线会让最优点比纯带宽估算更靠前。四、互联带宽的硬约束张量并行对卡间带宽极度敏感。同一台机器内的 NVLink 带宽比跨机的以太网高出数倍所以并行度通常会限制在一台机器内的卡数以内。跨机做张量并行时延迟会明显恶化通常需要更快的互联方案。这也是超节点概念流行的原因——把更大范围的 GPU 用高带宽互联连起来让张量并行的规模可以扩大。互联带宽还有一个常被忽略的指标是延迟而非带宽。小消息频繁传递时延迟比带宽更能决定性能。张量并行的通信恰好以小消息为主所以延迟指标要重点看。因此评估集群时不能只看标称带宽要实测小消息的往返延迟。两台机器参数相同但拓扑不同张量并行的表现可能差出一大截。拓扑感知的并行度配置值得投入。让通信密集的组落在同一交换域内能在不换硬件的情况下改善延迟实现成本主要是配置管理而非框架改动。五、与批处理的关系张量并行的通信量随批大小增长而计算量的增长更快。所以批越大通信占比越低张量并行的效率越高。这个性质对服务设计有指导意义如果一定要用高并行度就把批凑大一些代价是首 token 延迟上升。反过来低延迟的交互场景应当尽量减小并行度宁可多占几张卡做副本。批大小还会影响并行度的可用范围。批很小的时候单卡就能处理好计算加并行的收益远小于通信开销所以低延迟场景反而应当用较小的并行度。这种反直觉的结论只能用实测验证。建议把批大小与并行度做一张二维表找出延迟最低的组合而不是分别调优再拼起来。解码与预填充的最优配置不同也意味着统一部署时要选一个折中方案。若业务以长输出为主应偏向预填充的优化以短交互为主则相反。六、常见坑坑一是按参数均匀切分而不按计算量切分。不同层计算量差异明显平均切会让某些卡成为瓶颈其他卡干等。坑二是忽略通信与计算的流水重叠。把通信做成阻塞式延迟会比理论值高出一大截而且随并行度增大而恶化得更快。坑三与激活值的内存布局有关。切分后期望的布局与实际不符会触发额外的转置拷贝这种开销不出现在任何显式指标里却会实实在在吃掉带宽。坑四与容错有关。并行度越高单点故障影响的范围越大。张量并行组内任一卡故障通常会导致整组重启所以并行度也是可用性的一个参数。坑五与量化叠加有关。张量并行配合量化时权重切分的边界需要与量化的分组对齐不对齐会导致额外的反量化与重排开销抵消并行收益。七、衔接大会专题11 月 20-21 日北京万达文华酒店C 及系统软件技术大会的 AI 算力与推理优化专题会讨论推理部署与算子层优化奇点智能技术大会的 AI Infra 专题从服务整体延迟与容量的角度讨论并行策略。带着「我们加卡之后延迟变好还是变差」去参会问题很实际。参会时可以留意各家在超节点上的实测数据。同样标称带宽不同互联方案在张量并行下的有效带宽差异很大实测比参数更有参考价值。另一个值得关注的问题是并行推理与批处理的配合。如何在保证延迟的前提下把批凑大是服务设计中的核心权衡之一。参会时可以留意各家在「并行度与延迟关系」上的实测曲线。曲线形状比单个数值更能说明互联质量与实现水平。八、落地顺序先确认单卡装不下是显存问题还是容量问题。显存差一点优先考虑量化与缓存优化确实需要并行再上张量并行。上并行后固定批大小与输入长度做对比测试把并行度从一逐步调高找到延迟最低的那个点不要凭直觉设值。测试时建议固定输入长度分布与并发曲线只变并行度。这样得到的曲线可以直接用于决策避免把其他变量的影响算进来。最后一点并行度调整后要重新验证数值正确性。切分方式变化可能引入微小的数值差异短样本上的比对能快速确认是否踩到了边界问题。最后一个提醒并行度调整属于影响面较大的变更建议与容量规划一起评估而不是只在出现延迟问题时临时调整。补充问答问并行度越高延迟越低吗答不是。通信量随并行度线性增长超过某个拐点后通信时间会盖过计算收益端到端延迟反而上升。拐点与互联带宽强相关必须实测。问为什么常见列切加行切答相邻权重一个按列切一个按行切中间结果不需要通信只在层输出做一次归约。这是把通信量压到最小的组合几乎成为默认做法。问能跨机做张量并行吗答能但代价大。跨机互联带宽远低于机内延迟会明显恶化。所以并行度通常限制在机内卡数以内除非有更高带宽的互联方案。问批大小为什么重要答批越大计算量增长越快通信占比越低张量并行效率越高。代价是首 token 延迟上升所以要按业务对延迟的敏感度来权衡。问平均切分有什么问题答按参数量平均切不等于按计算量平均。不同层计算量差异明显平均切会让部分卡成为瓶颈其他卡干等整体效率下降。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名免费领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料