做AI项目这几年我几乎每周都要回答同一个问题某家的国产AI芯片到底能不能用每次我都会先反问一句你打算拿它训练模型还是拿去做线上推理因为我见过太多选错方向的项目把训练卡硬扛推理或者拿推理卡去跑微调最后在性能、功耗和钱包三个方向上同时翻车。这篇文章不打算写厂商通稿式的清单而是从一个真正做过选型、也踩过不少坑的人的角度把算力芯片和推理专用芯片这两类东西拆开讲清楚再给出一份基于实际场景的国产AI厂商分类推荐思路。如果你正在做算力规划、要给团队配训练服务器、或者在设计推理产品的成本模型这篇应该能帮你省下一大圈调研时间。1. 先搞清楚算力芯片和推理专用芯片到底差在哪1.1 训练要的是“算得动”推理要的是“算得快又省”我特别喜欢用开矿和开厂来类比这两类芯片。训练芯片相当于矿山里的重型机械目标是不计代价把矿石挖出来、运出去它追求的是单位时间能处理多少数据、整个车队能不能协作而推理专用芯片更像精密加工厂里的装配线它讲究的是每分钟过多少料、每个零件的成本、以及生产线能不能不停机。你不可能指望一台挖掘机去当装配线上的操作工这就是为什么训练和推理分开选型不是制造焦虑而是物理规律决定的。从计算角度看训练任务大多是稠密矩阵运算需要高精度浮点能力训练过程中还得反复做前向传播和反向传播权重的梯度更新对精度非常敏感所以训练芯片必须堆FP32/BF16算力、堆显存容量、堆卡间互联带宽。推理则完全不同模型已经训练完成只需要做前向推理权重可以量化成INT8甚至INT4而不产生不可接受的精度损失推理芯片完全可以把晶体管花在低精度算力和低功耗设计上。我见过一个典型的反例团队之前用通用训练卡做推理单卡功耗三百多瓦结果只跑出一个几十瓦推理卡就能达到的吞吐机房电费直接拉爆了预算。这不是通用卡不行而是场景不匹配。选型的第一步永远是确认你站的是“开矿”还是“开厂”的赛道。1.2 大模型推理为什么让“专用芯片”变得更重要前几年大家提推理芯片主要说的是CV模型、语音模型这类模型结构相对固定早就有人用ASIC和NPU去加速了。真正让推理专用芯片地位大幅提升的是大语言模型大规模上线这件事。大模型推理有个特点请求处理分成了两个阶段prefill阶段要一次性计算长提示词计算密集decode阶段要逐token生成每次只算少量数据却要把整个模型权重都访存一遍访存密集。一个芯片如果只按峰值算力去设计很容易在decode阶段被显存带宽卡死而推理专用芯片恰恰是为了这个场景做了权衡比如大容量片上缓存、针对低比特权重的访存优化、连续批处理调度。这也是为什么同样是跑7B模型专用推理卡能在功耗很低的情况下做到很高的生成吞吐。还有一个关键点KV Cache正在变成新的显存杀手。我做过一个粗算7B模型FP16权重就要约14GB而每个并发请求的KV Cache会随上下文长度增长如果按4096上下文来算单个请求可能吃掉0.5到1GB显存。想想看100并发就是50到100GB你就算有再强的算力显存不够一样撑不起线上服务。这个矛盾让推理场景从“拼算力”变成了“拼显存容量和带宽”这恰好是国产推理专用芯片最愿意发力的地方。1.3 给选型埋个伏笔看指标前先看场景所以我强烈建议任何选型讨论都必须从场景开始。你是做百亿参数模型的持续预训练还是做线上7x24小时的生成式AI服务或者只是在工业现场放一个边缘盒子做质检这三个场景对芯片的要求完全不同混在一起对比参数没有意义。后面所有内容我都会围绕“场景先行”这个原则展开。2. 国产AI芯片厂商全景三类玩家分清楚2.1 通用训练算力阵营国产AI芯片厂商这几年数量明显增多但如果按能力边界去分真正能承接大规模通用训练的厂商其实没有大家想象中那么多。目前市场上比较有代表性的包括华为昇腾、海光信息、寒武纪、沐曦、天数智芯、燧原科技以及昆仑芯。先说昇腾。昇腾910系列配合Atlas整机是目前批量上线案例最多、生态相对完整的选择之一。它有自研的CANN软件栈支持MindSpore也兼容PyTorch生态大规模集群方案有过不少落地。我实际测下来它在标准模型上的表现跟纸面宣传差距不算特别大真正需要适应的是算子层面的迁移尤其是团队习惯了CUDA的写法初期会有一点阵痛期。海光走的则是“类CUDA”路线深算系列DCU主打HIP生态对已有CUDA代码的兼容性较好。如果你们团队之前有大量PyTorch代码希望迁移成本尽量低海光绝对值得放进候选清单。寒武纪和沐曦、天数、燧原这几位训练卡产品各有侧重比如寒武纪的思元系列涉及训练和推理两条线沐曦早期主打高性能计算场景天数智芯在通用GPU领域有一些积累燧原则有云端训练和推理产品线。昆仑芯背靠百度有实际业务场景打磨训练卡和推理卡都有布局。这里要提醒一句训练阵营的参数普遍在几百TFLOPS量级纸面数据都很漂亮。但真实训练场景里多卡互联效率往往比单卡算力更重要你花大价钱买了8张卡如果互联协议不成熟扩展效率只有百分之六七十那整体性价比就很尴尬。所以选训练阵营我建议一定要做多机多卡的压力测试。2.2 推理专用与边缘加速阵营如果说训练阵营是“全能选手”推理专用阵营就是“爆发力加性价比选手”。这一类的共同特征是用更小的芯片面积、更低的功耗把INT8/INT4算力做到极致。昇腾310P、寒武纪MLU370系列、昆仑芯R系列以及算能的BM168x系列都算这个阵营里的常客。昇腾310P常见于边缘推理盒子和一些私有化部署场景能效比好配合Atlas服务器可以组成中等规模的推理集群。寒武纪MLU370分成不同板卡形态有些主打半高半长适合塞进标准服务器做视频分析、OCR、推荐系统之类的推理。昆仑芯的推理卡因为百度搜索等场景长期喂过数据在真实业务吞吐方面的口碑还可以。算能则更偏向边缘侧和中小规模项目芯片集成度较高很多做工业视觉、安防、门禁的团队喜欢用。还有一个特例是平头哥的含光800作为云端推理专用芯片从技术上说很能打但它大多数时候以云服务的形式存在外部团队很难直接买张卡插到自己的服务器里所以如果你是在企业内部做私有化部署先不用把它放在第一梯队考虑。2.3 车规与端侧NPU阵营第三个容易被忽略的阵营是车规和端侧NPU。它们的特点是算力不一定极致但一定在功耗、成本、工作温度、供货周期这些维度上被严格打磨过。车规级别最有名的就是地平线的征程系列征程5、征程6在自动驾驶域控制器里非常常见它不只是卖芯片而是卖整套工具链和参考方案。黑芝麻智能的华山系列也在智能驾驶和机器人场景里有一定存在感。如果你做的是自动驾驶、物流小车、服务机器人这类车规芯片会更合适。另一端是面向智能硬件的通用SoC NPU比如瑞芯微RK3588、晶晨A311D、全志系列以及算能的一些模组产品。它们把CPU、GPU、NPU、视频编解码单元集成在一颗芯片上算力通常在几TOPS到二十几TOPS之间非常适合做智能摄像头、语音面板、边缘计算盒子。对很多开发者来说RK3588几乎成了原型的默认选择资料多、调试方便、社区活跃小批量落地也很顺利。这三类阵营本身没有高下之分只看你手里是什么场景。为了直观对比我按定位列了一个简表阵营典型芯片/系列算力量级核心关键词主要场景通用训练算力昇腾910、海光深算、寒武纪思元百TFLOPS级高算力、互联、大显存大模型训练/微调、科学计算推理专用/边缘加速昇腾310P、寒武纪MLU370、昆仑芯R系列、算能BM168x几十到几百TOPS低功耗、INT8/INT4、高吞吐在线推理、视频分析、OCR车规/端侧NPU地平线征程、瑞芯微RK3588、晶晨几TOPS到几十TOPS低功耗、供货周期、工具链自动驾驶、智能硬件、边缘盒子3. 按实际场景做的分类推荐3.1 大规模训练或微调场景怎么选先说绝大多数团队最关心的问题如果我要训练一个大模型或者对开源模型做微调国产芯片里优先看哪几家我的建议是分三类情况讨论。第一类是预算充足、想要规模化集群、同时希望有厂商兜底运维的优先看昇腾910系列加Atlas整机的组合。这个方案的好处是软硬一体交付服务器、交换机、集群调度、基础模型样例都是成套的技术人员不用从零搭环境。它的问题在于算子栈相对“有自己的脾气”如果你的代码里用了大量自定义算子或者不可控的第三方实现在迁移阶段会花费额外精力。第二类是团队已经写了大量CUDA代码希望迁移成本尽可能低那海光深算DCU值得放在第一位来测。它主推的是HIP生态翻译层能把很多CUDA代码直接转过来团队的学习曲线比其他平台平滑很多。我见过一个团队原本四五个人的底层优化小组迁到海光平台之后大概两三周就跑通了原有的LoRA微调流程这在别的平台上几乎不太可能做到。第三类是公司里有较强底层能力的技术团队可以接受一定的折腾成本去换取更灵活的定价和供货那寒武纪、沐曦、天数、燧原、昆仑芯都可以进入测试清单。我不建议在没跑过测试的情况下凭参数做决定至少要做一轮包含三件事的验证小模型能不能跑通、大模型能不能跑通、多卡互联的效率到底是多少。这个验证看起来简单却能筛掉相当多“参数好看但实际不行”的产品。在确定具体型号前还要会算显存需求。以70B量级参数模型为例FP16权重大约需要140GB如果你还要做训练算上优化器状态和激活值通常需要超过200GB显存。这意味着你至少需要4张80GB级别的大显存卡并且要做张量并行推荐直接上8卡整机。训练卡功耗普遍不低采购前务必确认机房供电和散热条件我见过不止一次因为机柜供电不够买回来的高端训练卡只能降频运行的情况。3.2 在线推理与生成式AI场景怎么选如果你做的是线上推理服务尤其是面向用户的生成式AI产品那推理专用芯片就是你该重点研究的对象。这里有一个容易犯的错误只看峰值TOPS不看实际能跑到多少。推理芯片实际的算力利用率受模型结构、量化支持、批处理调度影响极大官方宣传的TOPS是理论极限线上环境通常只能跑到百分之三四十。在生成式AI场景里我会优先看三件事。第一是否支持INT8/INT4以及低比特权重的加载因为大模型推理用INT4能大幅减少显存占用但对硬件和反量化实现有要求。第二显存带宽是否充足decode阶段几乎是被带宽卡脖子理论算力再高带宽上不去token生成速度就是上不去。第三是否具备连续批处理能力也就是多个用户的请求能不能动态地在同一个小批次里推进这直接决定你的在线吞吐和GPU/芯片利用率。具体到推荐方向昇腾310P可以承担中等规模在线推理尤其是私有化部署场景寒武纪MLU370系列在视频分析和自然语言处理混合负载下表现比较稳昆仑芯R系列有大量百度业务场景打磨做Web规模服务会更有感觉。如果是纯粹的边缘在线服务比如连锁门店里面的实时识别那昇腾310和算能BM1684X这类低功耗板卡会是更合适的对象。我还想给一个成本估算的例子。假设你用一张中高端推理加速卡跑7B模型INT8量化后权重约7GB单卡实际生成吞吐可能达到3000到5000 token每秒。如果你的用户平均每秒消耗20 token那么单卡大约可以支撑150到250个并发用户具体数值要实测。方法其实很简单把官方工具链上跑的batch吞吐记录下来除以单个用户平均请求速率就能粗算出单卡容量。别指望一个公式解决所有问题但按照这个思路去评估至少不会出现上线首日就卡死的窘境。 提示在线推理选型最重要的一项测试是用你自己的真实模型脚本、真实并发模型做压测。拿公开benchmark替代真实场景基本等于自欺欺人。3.3 边缘盒子、私有化小站与端侧设备场景怎么选边缘场景的选型逻辑和云端完全不同。边缘设备往往有严格功耗预算可能根本没有专人维护而且对交付时间非常敏感。这时候最重要的已经不是芯片算力有多高而是工具链的成熟度、整体方案的集成度以及能不能稳定供货。如果是工业视觉、安防巡检、门店AI之类的场景算能BM1684X系列和昇腾310都是很常见的方案。它们的板卡形态丰富有PCIe卡也有迷你模组方便嵌入不同尺寸的设备。如果团队技术实力一般希望在开发阶段少踩坑瑞芯微RK3588系列几乎是绕不开的选择它有比较完善的NPU工具链和开源社区案例从基本图像分类到简单目标检测都能覆盖。私有化小站是另一个常见需求公司内部给几十个人用AI工具不追求极致吞吐但要快速交付、稳定可靠。这种场景最合适的反而不是单独买推理卡而是直接买一台厂家集成好的一体机把CPU、内存、推理卡、私有化部署管理系统一次性配齐。昇腾Atlas系列和寒武纪都有类似形态的产品选型时把重点放在“管理员能不能通过一个界面完成升级、告警、日志查询”上这比跑分重要得多。端侧低功耗设备里做语音面板、智能门锁、穿戴设备的同学可以关注瑞芯微的轻量级SoC和晶晨、全志的产品。这类芯片算力通常不到10 TOPS但胜在功耗低、物料成本低、量产工具链成熟。落地的建议是不要只看芯片要看整板方案和模组厂商的支持力度。小项目最怕的是“换个型号就要重新做底版”尽量选择生命周期长的产品线。3.4 我把选型流程固化成了一套打分表如果选择太多不知道怎么下手我会建议团队用一套简单的打分表做初筛。加权维度如下场景匹配度占30%、软件生态与工具链成熟度占25%、迁移和落地成本占15%、供应链与供货稳定性占10%、单卡及TCO成本占10%、社区与售后支持占10%。具体操作是先明确自己属于哪个场景然后对候选厂商按0到10分打分。场景匹配度看的是算力精度是否够用、功耗是否合理、是否有对应板卡形态软件生态看的是算子覆盖、编译器体验、官方文档质量迁移成本包括代码改造量和新框架的学习成本供应链稳定性建议直接问代理商当前库存和交期TCO要算清整机电源、散热、机房改造成本别只看单卡价格售后支持可以打几个咨询电话体验一下响应速度。初筛结束后一定要做一轮持续五到七天的PoC验证。我的建议清单是第一用自己最核心的模型做转换和部署记录尺寸和延迟第二把官方demo和真实模型的结果做精度对比确认量化后效果是否可接受第三做多路并发压测观察芯片利用率、显存占用和是否触发降频第四实际操作工具链看编译、调试、日志是否顺手第五实测长时间运行后的功耗和温度。六个测试下来基本就知道能不能长期用了。4. 常见误区与排雷手记4.1 “对标A100/H100”里的那些水分国产AI芯片圈子里“对标”这个词被用得太泛滥了。很多厂商宣传自己的训练卡“对标A100”但你去细看对照的往往是单卡峰值算力而对卡间互联带宽、显存带宽、分布式训练生态只字不提。真正训练过模型的人都知道做百亿级模型单卡快没有意义多卡能不能高效协作才是核心。还有一类水分藏在数值精度上。厂家标一个很高的INT8算力但你的模型恰恰需要FP16甚至FP32才能保证效果这个指标就帮不上忙。推理场景更常见的是宣传多少TOPS跑到线上却因为带宽限制导致实际吞吐只有宣传值的40%。我的应对方法只有一个亲手做基准测试。拿相同的模型、相同的数据集、相同的量化精度在同一张卡上跑一个标准化脚本同时测训练吞吐和推理延迟别信任何跑分软件给出的所谓统一分数。4.2 “兼容CUDA”到底是真兼容还是营销话术兼容CUDA这件事在国产芯片里分为好几个层次不搞清楚很容易被坑。最好的情况是像海光DCU这样从HIP层面做兼容大部分CUDA代码可以通过工具自动转换少部分手改。其次是在PyTorch算子层面兼容你的模型如果使用常见算子跑起来比较顺。最次的是宣传“兼容”但实际只支持少量经典模型遇到你的自定义实现就当场崩溃。不管厂商宣传得如何我强烈建议把“兼容”这个抽象概念具象化拿出你最耗时的训练脚本或者推理服务在目标平台上完整跑一遍。跑通的标准是结果数值与CUDA平台误差可接受跑不通就把阻塞清单记录下来交给厂商FAE评估改造工作量。这里还有一个容易被忽视的点分布式训练需要依赖集合通信库国产平台即使支持PyTorchNCCL那套通信机制也未必完全兼容多机训练前务必重点测这层。4.3 推理专用芯片最容易踩的四个坑第一个坑是只算峰值算力不算有效吞吐。我测过好几款推理卡理论上TOPS很可观实际跑起来因为算子未优化、调度开销大吞吐只有峰值的一半不到。第二个坑是显存容量够但带宽不够。大模型decode是访存密集型显存再大带宽不足token就是吐得慢所以在规格表里一定把带宽和容量放在同等重要位置。第三个坑是忽略部署链路的额外开销。模型格式转换、编译耗时、推理框架的封装层都可能成为线上性能的黑洞。有些卡跑单次推理很快但框架初始化重、每次请求都加载额外组件高并发下彻底露馅。第四个坑是并发调度能力。很多芯片做单路推理测试很惊艳一上并发就崩要看它是否支持连续批处理、是否支持推理队列动态调度。还有一个容易栽跟头的地方是长时间运行降频。设备满载连续跑24小时散热设计不过关就会触发温度保护性能直接掉下来。建议在PoC阶段做连续48小时满载测试功耗、吞吐、温度三个曲线一起看。4.4 工具链问题的快速排查路径工具链是国产芯片使用体验中最容易劝退人的环节但排查起来有方法。第一原则是从官方示例出发先跑通SimpleDemo再逐步替换成你的网络结构把问题面收窄到“哪一层算子”上。第二原则是使用性能剖析工具找出耗时异常的算子再判断是算子本身效率低还是编译器没有做融合优化。通常一段热点算子只需要少量改写就能有几倍性能提升。第三原则是找技术支持前先备齐最小复现材料框架版本、模型结构描述、输入输出的shape、出现的报错堆栈、精度配置。很多问题在双方一起看“算子映射日志”时就能定位。如果项目里有大量自定义算子我建议优先把它们改成标准算子组合刚开始可能觉得很委屈但考虑到后续维护和换平台的灵活性这种改写往往是最划算的。5. 说点买卡之后的心里话做完这么多选型我最大的体会是国产AI芯片不能一概而论一定要按场景分类看。异构部署是常态我自己的惯用组合就是通用训练卡负责微调和科学计算推理专用卡扛起线上服务边缘盒子里再塞一块低功耗NPU。这不是追逐潮流而是在成本、性能、功耗之间做最稳妥的平衡。还有一个经验是国产AI芯片的更新迭代速度非常快今天调研的结果过两三个月就可能有新一代产品。所以不要把自己的知识锁死在某一个型号上关注工具链和生态的方向性变化更重要。最后分享一个实用小技巧可以准备一套固定的标准benchmark脚本每隔一段时间跑一次既能在芯片驱动升级后第一时间发现性能异常也能在下一轮选型时用来对比新硬件。选型这件事没有一劳永逸但有这套办法你至少能保证自己做得不糊弄、不冤枉、心里有数。 
长河君 · 2026/10/27 7:46:27 · 阅读 1.2k 国产AI芯片选型指南：训练算力与推理专用芯片场景拆解
做AI项目这几年我几乎每周都要回答同一个问题某家的国产AI芯片到底能不能用每次我都会先反问一句你打算拿它训练模型还是拿去做线上推理因为我见过太多选错方向的项目把训练卡硬扛推理或者拿推理卡去跑微调最后在性能、功耗和钱包三个方向上同时翻车。这篇文章不打算写厂商通稿式的清单而是从一个真正做过选型、也踩过不少坑的人的角度把算力芯片和推理专用芯片这两类东西拆开讲清楚再给出一份基于实际场景的国产AI厂商分类推荐思路。如果你正在做算力规划、要给团队配训练服务器、或者在设计推理产品的成本模型这篇应该能帮你省下一大圈调研时间。1. 先搞清楚算力芯片和推理专用芯片到底差在哪1.1 训练要的是“算得动”推理要的是“算得快又省”我特别喜欢用开矿和开厂来类比这两类芯片。训练芯片相当于矿山里的重型机械目标是不计代价把矿石挖出来、运出去它追求的是单位时间能处理多少数据、整个车队能不能协作而推理专用芯片更像精密加工厂里的装配线它讲究的是每分钟过多少料、每个零件的成本、以及生产线能不能不停机。你不可能指望一台挖掘机去当装配线上的操作工这就是为什么训练和推理分开选型不是制造焦虑而是物理规律决定的。从计算角度看训练任务大多是稠密矩阵运算需要高精度浮点能力训练过程中还得反复做前向传播和反向传播权重的梯度更新对精度非常敏感所以训练芯片必须堆FP32/BF16算力、堆显存容量、堆卡间互联带宽。推理则完全不同模型已经训练完成只需要做前向推理权重可以量化成INT8甚至INT4而不产生不可接受的精度损失推理芯片完全可以把晶体管花在低精度算力和低功耗设计上。我见过一个典型的反例团队之前用通用训练卡做推理单卡功耗三百多瓦结果只跑出一个几十瓦推理卡就能达到的吞吐机房电费直接拉爆了预算。这不是通用卡不行而是场景不匹配。选型的第一步永远是确认你站的是“开矿”还是“开厂”的赛道。1.2 大模型推理为什么让“专用芯片”变得更重要前几年大家提推理芯片主要说的是CV模型、语音模型这类模型结构相对固定早就有人用ASIC和NPU去加速了。真正让推理专用芯片地位大幅提升的是大语言模型大规模上线这件事。大模型推理有个特点请求处理分成了两个阶段prefill阶段要一次性计算长提示词计算密集decode阶段要逐token生成每次只算少量数据却要把整个模型权重都访存一遍访存密集。一个芯片如果只按峰值算力去设计很容易在decode阶段被显存带宽卡死而推理专用芯片恰恰是为了这个场景做了权衡比如大容量片上缓存、针对低比特权重的访存优化、连续批处理调度。这也是为什么同样是跑7B模型专用推理卡能在功耗很低的情况下做到很高的生成吞吐。还有一个关键点KV Cache正在变成新的显存杀手。我做过一个粗算7B模型FP16权重就要约14GB而每个并发请求的KV Cache会随上下文长度增长如果按4096上下文来算单个请求可能吃掉0.5到1GB显存。想想看100并发就是50到100GB你就算有再强的算力显存不够一样撑不起线上服务。这个矛盾让推理场景从“拼算力”变成了“拼显存容量和带宽”这恰好是国产推理专用芯片最愿意发力的地方。1.3 给选型埋个伏笔看指标前先看场景所以我强烈建议任何选型讨论都必须从场景开始。你是做百亿参数模型的持续预训练还是做线上7x24小时的生成式AI服务或者只是在工业现场放一个边缘盒子做质检这三个场景对芯片的要求完全不同混在一起对比参数没有意义。后面所有内容我都会围绕“场景先行”这个原则展开。2. 国产AI芯片厂商全景三类玩家分清楚2.1 通用训练算力阵营国产AI芯片厂商这几年数量明显增多但如果按能力边界去分真正能承接大规模通用训练的厂商其实没有大家想象中那么多。目前市场上比较有代表性的包括华为昇腾、海光信息、寒武纪、沐曦、天数智芯、燧原科技以及昆仑芯。先说昇腾。昇腾910系列配合Atlas整机是目前批量上线案例最多、生态相对完整的选择之一。它有自研的CANN软件栈支持MindSpore也兼容PyTorch生态大规模集群方案有过不少落地。我实际测下来它在标准模型上的表现跟纸面宣传差距不算特别大真正需要适应的是算子层面的迁移尤其是团队习惯了CUDA的写法初期会有一点阵痛期。海光走的则是“类CUDA”路线深算系列DCU主打HIP生态对已有CUDA代码的兼容性较好。如果你们团队之前有大量PyTorch代码希望迁移成本尽量低海光绝对值得放进候选清单。寒武纪和沐曦、天数、燧原这几位训练卡产品各有侧重比如寒武纪的思元系列涉及训练和推理两条线沐曦早期主打高性能计算场景天数智芯在通用GPU领域有一些积累燧原则有云端训练和推理产品线。昆仑芯背靠百度有实际业务场景打磨训练卡和推理卡都有布局。这里要提醒一句训练阵营的参数普遍在几百TFLOPS量级纸面数据都很漂亮。但真实训练场景里多卡互联效率往往比单卡算力更重要你花大价钱买了8张卡如果互联协议不成熟扩展效率只有百分之六七十那整体性价比就很尴尬。所以选训练阵营我建议一定要做多机多卡的压力测试。2.2 推理专用与边缘加速阵营如果说训练阵营是“全能选手”推理专用阵营就是“爆发力加性价比选手”。这一类的共同特征是用更小的芯片面积、更低的功耗把INT8/INT4算力做到极致。昇腾310P、寒武纪MLU370系列、昆仑芯R系列以及算能的BM168x系列都算这个阵营里的常客。昇腾310P常见于边缘推理盒子和一些私有化部署场景能效比好配合Atlas服务器可以组成中等规模的推理集群。寒武纪MLU370分成不同板卡形态有些主打半高半长适合塞进标准服务器做视频分析、OCR、推荐系统之类的推理。昆仑芯的推理卡因为百度搜索等场景长期喂过数据在真实业务吞吐方面的口碑还可以。算能则更偏向边缘侧和中小规模项目芯片集成度较高很多做工业视觉、安防、门禁的团队喜欢用。还有一个特例是平头哥的含光800作为云端推理专用芯片从技术上说很能打但它大多数时候以云服务的形式存在外部团队很难直接买张卡插到自己的服务器里所以如果你是在企业内部做私有化部署先不用把它放在第一梯队考虑。2.3 车规与端侧NPU阵营第三个容易被忽略的阵营是车规和端侧NPU。它们的特点是算力不一定极致但一定在功耗、成本、工作温度、供货周期这些维度上被严格打磨过。车规级别最有名的就是地平线的征程系列征程5、征程6在自动驾驶域控制器里非常常见它不只是卖芯片而是卖整套工具链和参考方案。黑芝麻智能的华山系列也在智能驾驶和机器人场景里有一定存在感。如果你做的是自动驾驶、物流小车、服务机器人这类车规芯片会更合适。另一端是面向智能硬件的通用SoC NPU比如瑞芯微RK3588、晶晨A311D、全志系列以及算能的一些模组产品。它们把CPU、GPU、NPU、视频编解码单元集成在一颗芯片上算力通常在几TOPS到二十几TOPS之间非常适合做智能摄像头、语音面板、边缘计算盒子。对很多开发者来说RK3588几乎成了原型的默认选择资料多、调试方便、社区活跃小批量落地也很顺利。这三类阵营本身没有高下之分只看你手里是什么场景。为了直观对比我按定位列了一个简表阵营典型芯片/系列算力量级核心关键词主要场景通用训练算力昇腾910、海光深算、寒武纪思元百TFLOPS级高算力、互联、大显存大模型训练/微调、科学计算推理专用/边缘加速昇腾310P、寒武纪MLU370、昆仑芯R系列、算能BM168x几十到几百TOPS低功耗、INT8/INT4、高吞吐在线推理、视频分析、OCR车规/端侧NPU地平线征程、瑞芯微RK3588、晶晨几TOPS到几十TOPS低功耗、供货周期、工具链自动驾驶、智能硬件、边缘盒子3. 按实际场景做的分类推荐3.1 大规模训练或微调场景怎么选先说绝大多数团队最关心的问题如果我要训练一个大模型或者对开源模型做微调国产芯片里优先看哪几家我的建议是分三类情况讨论。第一类是预算充足、想要规模化集群、同时希望有厂商兜底运维的优先看昇腾910系列加Atlas整机的组合。这个方案的好处是软硬一体交付服务器、交换机、集群调度、基础模型样例都是成套的技术人员不用从零搭环境。它的问题在于算子栈相对“有自己的脾气”如果你的代码里用了大量自定义算子或者不可控的第三方实现在迁移阶段会花费额外精力。第二类是团队已经写了大量CUDA代码希望迁移成本尽可能低那海光深算DCU值得放在第一位来测。它主推的是HIP生态翻译层能把很多CUDA代码直接转过来团队的学习曲线比其他平台平滑很多。我见过一个团队原本四五个人的底层优化小组迁到海光平台之后大概两三周就跑通了原有的LoRA微调流程这在别的平台上几乎不太可能做到。第三类是公司里有较强底层能力的技术团队可以接受一定的折腾成本去换取更灵活的定价和供货那寒武纪、沐曦、天数、燧原、昆仑芯都可以进入测试清单。我不建议在没跑过测试的情况下凭参数做决定至少要做一轮包含三件事的验证小模型能不能跑通、大模型能不能跑通、多卡互联的效率到底是多少。这个验证看起来简单却能筛掉相当多“参数好看但实际不行”的产品。在确定具体型号前还要会算显存需求。以70B量级参数模型为例FP16权重大约需要140GB如果你还要做训练算上优化器状态和激活值通常需要超过200GB显存。这意味着你至少需要4张80GB级别的大显存卡并且要做张量并行推荐直接上8卡整机。训练卡功耗普遍不低采购前务必确认机房供电和散热条件我见过不止一次因为机柜供电不够买回来的高端训练卡只能降频运行的情况。3.2 在线推理与生成式AI场景怎么选如果你做的是线上推理服务尤其是面向用户的生成式AI产品那推理专用芯片就是你该重点研究的对象。这里有一个容易犯的错误只看峰值TOPS不看实际能跑到多少。推理芯片实际的算力利用率受模型结构、量化支持、批处理调度影响极大官方宣传的TOPS是理论极限线上环境通常只能跑到百分之三四十。在生成式AI场景里我会优先看三件事。第一是否支持INT8/INT4以及低比特权重的加载因为大模型推理用INT4能大幅减少显存占用但对硬件和反量化实现有要求。第二显存带宽是否充足decode阶段几乎是被带宽卡脖子理论算力再高带宽上不去token生成速度就是上不去。第三是否具备连续批处理能力也就是多个用户的请求能不能动态地在同一个小批次里推进这直接决定你的在线吞吐和GPU/芯片利用率。具体到推荐方向昇腾310P可以承担中等规模在线推理尤其是私有化部署场景寒武纪MLU370系列在视频分析和自然语言处理混合负载下表现比较稳昆仑芯R系列有大量百度业务场景打磨做Web规模服务会更有感觉。如果是纯粹的边缘在线服务比如连锁门店里面的实时识别那昇腾310和算能BM1684X这类低功耗板卡会是更合适的对象。我还想给一个成本估算的例子。假设你用一张中高端推理加速卡跑7B模型INT8量化后权重约7GB单卡实际生成吞吐可能达到3000到5000 token每秒。如果你的用户平均每秒消耗20 token那么单卡大约可以支撑150到250个并发用户具体数值要实测。方法其实很简单把官方工具链上跑的batch吞吐记录下来除以单个用户平均请求速率就能粗算出单卡容量。别指望一个公式解决所有问题但按照这个思路去评估至少不会出现上线首日就卡死的窘境。 提示在线推理选型最重要的一项测试是用你自己的真实模型脚本、真实并发模型做压测。拿公开benchmark替代真实场景基本等于自欺欺人。3.3 边缘盒子、私有化小站与端侧设备场景怎么选边缘场景的选型逻辑和云端完全不同。边缘设备往往有严格功耗预算可能根本没有专人维护而且对交付时间非常敏感。这时候最重要的已经不是芯片算力有多高而是工具链的成熟度、整体方案的集成度以及能不能稳定供货。如果是工业视觉、安防巡检、门店AI之类的场景算能BM1684X系列和昇腾310都是很常见的方案。它们的板卡形态丰富有PCIe卡也有迷你模组方便嵌入不同尺寸的设备。如果团队技术实力一般希望在开发阶段少踩坑瑞芯微RK3588系列几乎是绕不开的选择它有比较完善的NPU工具链和开源社区案例从基本图像分类到简单目标检测都能覆盖。私有化小站是另一个常见需求公司内部给几十个人用AI工具不追求极致吞吐但要快速交付、稳定可靠。这种场景最合适的反而不是单独买推理卡而是直接买一台厂家集成好的一体机把CPU、内存、推理卡、私有化部署管理系统一次性配齐。昇腾Atlas系列和寒武纪都有类似形态的产品选型时把重点放在“管理员能不能通过一个界面完成升级、告警、日志查询”上这比跑分重要得多。端侧低功耗设备里做语音面板、智能门锁、穿戴设备的同学可以关注瑞芯微的轻量级SoC和晶晨、全志的产品。这类芯片算力通常不到10 TOPS但胜在功耗低、物料成本低、量产工具链成熟。落地的建议是不要只看芯片要看整板方案和模组厂商的支持力度。小项目最怕的是“换个型号就要重新做底版”尽量选择生命周期长的产品线。3.4 我把选型流程固化成了一套打分表如果选择太多不知道怎么下手我会建议团队用一套简单的打分表做初筛。加权维度如下场景匹配度占30%、软件生态与工具链成熟度占25%、迁移和落地成本占15%、供应链与供货稳定性占10%、单卡及TCO成本占10%、社区与售后支持占10%。具体操作是先明确自己属于哪个场景然后对候选厂商按0到10分打分。场景匹配度看的是算力精度是否够用、功耗是否合理、是否有对应板卡形态软件生态看的是算子覆盖、编译器体验、官方文档质量迁移成本包括代码改造量和新框架的学习成本供应链稳定性建议直接问代理商当前库存和交期TCO要算清整机电源、散热、机房改造成本别只看单卡价格售后支持可以打几个咨询电话体验一下响应速度。初筛结束后一定要做一轮持续五到七天的PoC验证。我的建议清单是第一用自己最核心的模型做转换和部署记录尺寸和延迟第二把官方demo和真实模型的结果做精度对比确认量化后效果是否可接受第三做多路并发压测观察芯片利用率、显存占用和是否触发降频第四实际操作工具链看编译、调试、日志是否顺手第五实测长时间运行后的功耗和温度。六个测试下来基本就知道能不能长期用了。4. 常见误区与排雷手记4.1 “对标A100/H100”里的那些水分国产AI芯片圈子里“对标”这个词被用得太泛滥了。很多厂商宣传自己的训练卡“对标A100”但你去细看对照的往往是单卡峰值算力而对卡间互联带宽、显存带宽、分布式训练生态只字不提。真正训练过模型的人都知道做百亿级模型单卡快没有意义多卡能不能高效协作才是核心。还有一类水分藏在数值精度上。厂家标一个很高的INT8算力但你的模型恰恰需要FP16甚至FP32才能保证效果这个指标就帮不上忙。推理场景更常见的是宣传多少TOPS跑到线上却因为带宽限制导致实际吞吐只有宣传值的40%。我的应对方法只有一个亲手做基准测试。拿相同的模型、相同的数据集、相同的量化精度在同一张卡上跑一个标准化脚本同时测训练吞吐和推理延迟别信任何跑分软件给出的所谓统一分数。4.2 “兼容CUDA”到底是真兼容还是营销话术兼容CUDA这件事在国产芯片里分为好几个层次不搞清楚很容易被坑。最好的情况是像海光DCU这样从HIP层面做兼容大部分CUDA代码可以通过工具自动转换少部分手改。其次是在PyTorch算子层面兼容你的模型如果使用常见算子跑起来比较顺。最次的是宣传“兼容”但实际只支持少量经典模型遇到你的自定义实现就当场崩溃。不管厂商宣传得如何我强烈建议把“兼容”这个抽象概念具象化拿出你最耗时的训练脚本或者推理服务在目标平台上完整跑一遍。跑通的标准是结果数值与CUDA平台误差可接受跑不通就把阻塞清单记录下来交给厂商FAE评估改造工作量。这里还有一个容易被忽视的点分布式训练需要依赖集合通信库国产平台即使支持PyTorchNCCL那套通信机制也未必完全兼容多机训练前务必重点测这层。4.3 推理专用芯片最容易踩的四个坑第一个坑是只算峰值算力不算有效吞吐。我测过好几款推理卡理论上TOPS很可观实际跑起来因为算子未优化、调度开销大吞吐只有峰值的一半不到。第二个坑是显存容量够但带宽不够。大模型decode是访存密集型显存再大带宽不足token就是吐得慢所以在规格表里一定把带宽和容量放在同等重要位置。第三个坑是忽略部署链路的额外开销。模型格式转换、编译耗时、推理框架的封装层都可能成为线上性能的黑洞。有些卡跑单次推理很快但框架初始化重、每次请求都加载额外组件高并发下彻底露馅。第四个坑是并发调度能力。很多芯片做单路推理测试很惊艳一上并发就崩要看它是否支持连续批处理、是否支持推理队列动态调度。还有一个容易栽跟头的地方是长时间运行降频。设备满载连续跑24小时散热设计不过关就会触发温度保护性能直接掉下来。建议在PoC阶段做连续48小时满载测试功耗、吞吐、温度三个曲线一起看。4.4 工具链问题的快速排查路径工具链是国产芯片使用体验中最容易劝退人的环节但排查起来有方法。第一原则是从官方示例出发先跑通SimpleDemo再逐步替换成你的网络结构把问题面收窄到“哪一层算子”上。第二原则是使用性能剖析工具找出耗时异常的算子再判断是算子本身效率低还是编译器没有做融合优化。通常一段热点算子只需要少量改写就能有几倍性能提升。第三原则是找技术支持前先备齐最小复现材料框架版本、模型结构描述、输入输出的shape、出现的报错堆栈、精度配置。很多问题在双方一起看“算子映射日志”时就能定位。如果项目里有大量自定义算子我建议优先把它们改成标准算子组合刚开始可能觉得很委屈但考虑到后续维护和换平台的灵活性这种改写往往是最划算的。5. 说点买卡之后的心里话做完这么多选型我最大的体会是国产AI芯片不能一概而论一定要按场景分类看。异构部署是常态我自己的惯用组合就是通用训练卡负责微调和科学计算推理专用卡扛起线上服务边缘盒子里再塞一块低功耗NPU。这不是追逐潮流而是在成本、性能、功耗之间做最稳妥的平衡。还有一个经验是国产AI芯片的更新迭代速度非常快今天调研的结果过两三个月就可能有新一代产品。所以不要把自己的知识锁死在某一个型号上关注工具链和生态的方向性变化更重要。最后分享一个实用小技巧可以准备一套固定的标准benchmark脚本每隔一段时间跑一次既能在芯片驱动升级后第一时间发现性能异常也能在下一轮选型时用来对比新硬件。选型这件事没有一劳永逸但有这套办法你至少能保证自己做得不糊弄、不冤枉、心里有数。