1. 从算力焦虑说起为什么AI芯片突然成了焦点如果你在过去两年里深度参与过任何与深度学习相关的项目大概率经历过这样的场景模型结构调优已经到位数据集清洗得干干净净训练脚本反复检查了三遍结果一跑起来就卡在显存溢出或者多卡通信瓶颈上。这时候你才意识到限制项目进度的往往不是算法本身而是底层那颗芯片到底能不能扛住。AI芯片这个词放在五年前还只是芯片圈和学术圈的小众话题如今已经变成科技行业最热的关键词之一。它涵盖的范围其实很广从云端训练用的大算力加速卡到边缘侧推理用的低功耗NPU再到终端设备里嵌入的微型神经网络处理单元都属于这个范畴。我写这篇东西不是要复述新闻稿里的融资消息或者发布会参数而是想从一个实际使用者的角度把AI芯片当前到底发展到了什么阶段、不同技术路线各自解决了什么问题、落地时又会遇到哪些坑尽量讲清楚。这篇文章适合几类人看一是正在做模型部署、需要选型的工程师二是关注半导体和AI交叉领域的技术管理者三是对硬件加速感兴趣但还没深入动手的学生或转行者。我会尽量避开空洞的行业展望把重点放在技术逻辑和实际体验上让你读完能对AI芯片的现状有一个可操作的认知框架而不是只记住几个厂商名字。2. 拆开一颗AI芯片它和普通处理器到底差在哪2.1 冯诺依曼瓶颈与数据搬运的代价要理解AI芯片为什么必须存在得先回到一个老生常谈但极其关键的问题传统CPU的冯诺依曼架构里计算单元和存储单元是分离的。每次做一次乘法累加运算数据都要从内存搬到寄存器算完再搬回去。这个搬运过程消耗的时间和能量远远超过计算本身。我做过一个粗略的估算在典型的深度学习推理任务中一次MAC操作乘加运算如果从DRAM取数能耗大约是计算本身的几十倍甚至上百倍。这意味着什么意味着你花大价钱买的算力大部分都浪费在等数据上了。AI芯片的核心设计思路就是围绕“减少数据搬运”来做文章。无论是把存储和计算做近还是把大量计算单元堆在一起做并行本质上都是在跟这个瓶颈较劲。2.2 从通用到专用架构光谱上的不同选择市面上常说的AI芯片其实是一个很宽的光谱。一端是仍然保持一定通用性的GPU和GPGPU另一端是极度专用的ASIC。中间还夹着FPGA和各类可重构架构。它们之间的取舍逻辑用一句话概括就是越专用能效越高但灵活性越差。GPU之所以在训练领域占据主导是因为它保留了SIMT的编程模型成千上万个线程可以灵活调度适合处理动态图、变长序列这些不那么规整的计算。而ASIC比如某些推理加速卡把卷积、矩阵乘的硬件流水线焊死能效可以做到GPU的好几倍但一旦模型结构发生大变化可能就得重新流片。这个取舍没有绝对优劣完全取决于你的业务场景是“模型固定、量大管饱”还是“快速迭代、什么都要试”。2.3 训练与推理两种截然不同的负载特征很多人把AI芯片当成一个整体来讨论但实际上训练芯片和推理芯片的设计目标差异巨大。训练阶段需要高精度FP16甚至FP32、大显存、高互联带宽因为要存储梯度、优化器状态还要做多卡同步。推理阶段则更看重低延迟、低功耗、高吞吐精度往往可以量化到INT8甚至INT4。我见过不少团队在选型时犯的一个错误就是拿训练卡的指标去套推理场景结果发现功耗和成本完全不可接受。反过来用推理卡去跑训练又会因为显存不够和互联带宽不足而寸步难行。所以第一步永远是先搞清楚你到底是要训模型还是要跑模型。3. 云端训练芯片的竞争格局谁在领跑谁在追赶3.1 GPU的护城河不只是硬件更是软件栈谈到云端训练绕不开的一个事实是某家GPU厂商的统治地位很大程度上不是靠单颗芯片的峰值算力而是靠围绕它建立起来的软件生态。CUDA经过十几年的积累已经形成了从底层驱动、编译器、通信库到上层框架的完整闭环。你遇到任何算子不支持、任何性能异常社区里几乎都能找到答案。这种生态壁垒的可怕之处在于即使竞争对手的硬件在纸面参数上追平甚至反超用户迁移的成本依然高得吓人。我亲身经历过一次从CUDA迁移到另一个平台的过程光是自定义算子的重写和精度对齐就花了团队两个月这还不算调试分布式训练时遇到的各种通信问题。所以短期内训练市场的格局不会因为一两款新硬件就发生根本性改变。3.2 专用训练芯片的突围方向互联与集群追赶者选择的策略通常不是正面硬刚单卡性能而是从集群互联和系统级优化入手。比如有些方案把芯片间的互联带宽做得极高试图用大规模并行来弥补单卡差距。另一些则主打液冷和整机柜交付把部署密度和能效比作为卖点。这些方向在特定场景下确实有优势。比如训练超大参数量的模型时互联带宽往往比单卡算力更关键因为梯度同步的通信量会随着卡数增加而急剧上升。但问题在于软件栈的成熟度需要时间打磨很多团队在试用阶段就被各种算子缺失和调试困难劝退了。我的建议是如果你现在要选训练平台除非有非常明确的成本或供应链理由否则还是优先考虑生态最成熟的那一套。3.3 训练芯片选型时最容易忽略的三个指标很多人在看训练卡参数时眼睛只盯着TFLOPS。但实际用起来下面这三个指标往往更决定体验显存容量与带宽模型参数量、batch size、序列长度最终都反映在显存占用上。显存不够再高的算力也跑不起来。带宽则决定了数据喂给计算单元的速度。卡间互联带宽做数据并行或模型并行时梯度同步的开销直接取决于这个。带宽不足多卡加速比会惨不忍睹。软件栈对主流框架的支持程度不是所有芯片都能无缝跑PyTorch或TensorFlow的最新版本。有些平台需要特定的分支或补丁升级框架时可能踩坑。我个人的经验是在预算允许的情况下显存尽量往大了选。因为模型只会越来越大而显存是最难通过软件优化来弥补的硬约束。4. 推理侧的真实战场边缘与终端的芯片选择逻辑4.1 推理场景的碎片化没有一颗芯片能通吃训练市场相对集中但推理市场极其碎片化。云端推理、边缘服务器、移动端、IoT设备每个场景对功耗、算力、成本、延迟的要求都不一样。云端推理可能看重吞吐量和多模型并发边缘侧看重低延迟和离线可用移动端则必须在毫瓦级别的功耗预算内完成计算。这种碎片化导致了一个结果没有哪家厂商能像训练市场那样形成绝对垄断。这反而给了很多专用芯片公司机会它们可以在某个细分场景里做到极致比如安防摄像头里的人形检测、车载场景里的多路视频分析、工业质检里的缺陷识别。4.2 量化与剪枝让模型适配芯片的关键手段如果你打算把模型部署到边缘设备上几乎不可能绕过量化这个环节。FP32的模型直接跑在低功耗芯片上要么跑不动要么功耗爆炸。量化的本质是用更低的数值精度来表示权重和激活值比如把FP32转成INT8理论上可以把模型大小压缩到四分之一计算速度提升两到四倍。但量化不是免费的午餐。我踩过的最大的坑是训练时用FP32推理时直接转INT8结果精度掉得惨不忍睹。后来才明白量化感知训练或者至少做一轮校准是保证精度的必要步骤。另外不是所有层都适合量化比如某些归一化层和注意力机制里的softmax对精度非常敏感强行量化会引入明显误差。4.3 边缘部署的隐藏成本内存墙与散热在边缘设备上部署模型很多人只关注芯片的算力参数却忽略了内存和散热这两个隐形杀手。边缘设备的内存通常很小模型权重加上中间激活值很容易就把内存撑爆。这时候就需要做内存复用和算子融合把中间结果尽量留在片上缓存里。散热问题同样棘手。工业场景里设备可能工作在高温环境下如果芯片的散热设计不到位降频是小事死机重启就麻烦了。我见过一个项目芯片选型时只看算力结果夏天车间温度一高设备频繁重启最后不得不加装散热片和风扇成本和体积都上去了。5. 制程、封装与存储决定AI芯片上限的底层变量5.1 先进制程的红利与代价AI芯片的性能提升很大程度上依赖于半导体制造工艺的进步。从7nm到5nm再到3nm晶体管密度不断提高同样面积下能塞进更多计算单元同时功耗还能降低。但先进制程的代价是流片成本急剧上升一颗5nm芯片的设计和制造费用可能高达数亿人民币。这就导致了一个分化大厂可以靠出货量摊薄成本小公司则很难承受先进制程的试错代价。所以很多初创公司的第一代产品会选择相对成熟的制程先把架构和软件跑通等出货量上来再考虑升级。5.2 先进封装绕开制程限制的另一条路当制程微缩越来越难、越来越贵时先进封装成了提升芯片性能的重要途径。Chiplet芯粒技术就是把不同功能的小芯片像搭积木一样封装在一起比如计算芯粒用先进制程I/O芯粒用成熟制程这样既能保证性能又能控制成本。这种思路对AI芯片尤其有吸引力因为AI芯片往往包含计算阵列、高带宽存储接口、各种外设控制器不同模块对制程的需求并不一样。用Chiplet的方式做异构集成可以在性能和成本之间找到更好的平衡点。不过Chiplet也带来了新的挑战比如芯粒之间的互联带宽和延迟、封装良率、热管理等这些都需要在架构设计阶段就考虑清楚。5.3 高带宽存储算力之外的真正瓶颈如果你问我AI芯片最容易被低估的部分是什么我会说是存储。计算单元的算力可以靠堆面积来提升但存储带宽的提升要困难得多。高带宽存储HBM通过把DRAM堆叠起来用硅通孔连接可以在很小的面积内提供极高的带宽。但HBM的成本很高而且供应集中在少数几家厂商手里。在实际项目中我经常看到算力利用率上不去排查到最后发现是存储带宽不够计算单元在等数据。所以评估一颗AI芯片时不能只看TFLOPS还要看它的存储带宽和容量是否匹配。算力与带宽的比例往往比绝对算力更能反映实际性能。6. 软件栈的隐形战争编译器、框架与算子库6.1 编译器为什么这么难做AI芯片的软件栈里编译器是连接上层框架和底层硬件的桥梁。它的任务是把PyTorch或TensorFlow的计算图转换成芯片能执行的指令序列同时还要做算子融合、内存分配、指令调度等优化。这件事的难度在于深度学习模型的结构千变万化编译器要能覆盖足够多的算子还要在性能上不拖后腿。我接触过一些芯片平台硬件参数很漂亮但编译器经常遇到不支持的算子或者生成的代码性能远低于预期。这时候要么等厂商更新编译器要么自己写算子无论哪种都很耗时。所以选型时一定要拿自己真实的模型去跑一遍看看编译器的支持程度和优化效果。6.2 算子库的覆盖度决定迁移成本算子库是另一个关键。主流框架里的算子有几百个芯片厂商不可能一开始就全部支持。通常的做法是先覆盖最常用的那些比如卷积、矩阵乘、激活函数、归一化等。但如果你用的模型里有比较新的或者冷门的算子就可能遇到不支持的情况。我的经验是在项目早期就梳理清楚模型用到的所有算子然后对照芯片厂商的算子支持列表逐一确认。对于不支持的算子要提前评估是自己实现还是找替代方案。这个工作做得越早后期踩坑的概率越小。6.3 从CUDA迁移的真实体验坑在哪里如果你之前一直用CUDA迁移到其他平台时下面这几个坑几乎一定会遇到线程模型差异CUDA的线程层次结构thread、block、grid在其他平台上可能有不同的对应关系需要重新理解并行映射方式。内存管理差异显存分配、释放、拷贝的API和行为可能不同特别是异步操作和流的概念。数学库差异cuBLAS、cuDNN这些库的替代品在接口和精度上可能有细微差别需要做数值对齐。调试工具差异性能分析工具、调试器的使用方式不同排查问题的效率会受影响。我建议在迁移前先写一个最小可用的测试用例把矩阵乘、卷积这些核心操作跑通确认精度和性能都符合预期再逐步迁移整个模型。7. 落地实践中的选型框架与避坑清单7.1 先问清楚五个问题再谈选型在对比具体芯片型号之前我通常会先问团队五个问题模型是训练还是推理这决定了你关注的是训练卡还是推理卡。部署环境是什么云端、边缘服务器、移动端还是嵌入式设备模型结构会频繁变化吗如果会就需要更高的灵活性GPU或FPGA可能更合适。功耗和成本约束是什么边缘场景对功耗极其敏感云端则更看重吞吐量。团队的技术栈是什么如果团队只熟悉CUDA迁移到其他平台的隐性成本要算进去。把这五个问题回答清楚选型范围基本就缩小到两三个选项了。7.2 纸面参数与实际性能的差距从哪里来厂商标称的峰值算力通常是在理想条件下测出来的比如特定精度、特定batch size、特定算子。实际跑起来受限于存储带宽、编译器优化、算子支持度等因素能达到峰值的一半就算不错了。我在评估芯片时会特别关注厂商有没有提供端到端的benchmark比如跑一个完整的ResNet或BERT而不是只给单个算子的数据。另外最好能拿到实机做压力测试用自己的模型和数据集跑一遍看看延迟、吞吐、功耗的真实表现。7.3 供应链与长期维护容易被忽视的风险芯片选型不只是技术决策也是供应链决策。如果选的芯片供货周期很长或者厂商的路线图不清晰后续产品迭代就会很被动。我见过一些项目第一批量产用了某款芯片结果第二年想扩产时发现芯片停产了不得不重新做硬件设计和软件适配代价非常大。所以除了技术指标还要评估厂商的持续供货能力、软件更新频率、社区活跃度。对于关键项目最好有备选方案避免被单一供应商锁定。8. 未来几年的技术走向与个人判断8.1 架构创新会从哪里冒出来从目前公开的信息来看AI芯片的架构创新主要集中在几个方向一是存内计算把计算单元嵌入存储阵列从根本上消除数据搬运二是光互联用光信号代替电信号做芯片间通信提升带宽和降低延迟三是类脑计算模仿神经元的脉冲发放机制做事件驱动的稀疏计算。这些方向都很有前景但也都面临各自的工程化难题。存内计算的精度和可靠性还需要验证光互联的成本和封装复杂度很高类脑计算的编程模型和生态几乎是从零开始。我个人判断未来三到五年内主流市场仍然会是GPU、ASIC和FPGA的混合格局新架构会先从特定场景切入逐步扩大份额。8.2 软件生态的开放与封闭之争另一个值得关注的趋势是软件生态的走向。目前训练市场是封闭生态占主导但推理市场因为碎片化反而出现了更多开放标准的机会。比如ONNX这样的中间表示格式正在被越来越多的芯片厂商支持这降低了模型在不同硬件间迁移的成本。如果未来出现一个真正跨平台的、高性能的编译器栈那么芯片硬件的差异化就会更多体现在制程、封装和存储上而不是软件锁定。这对用户来说是好事但对靠生态壁垒吃饭的厂商来说压力会越来越大。8.3 给不同阶段从业者的建议如果你刚入行我的建议是先把CUDA或某一套主流软件栈用熟理解并行计算和性能优化的基本方法。这些底层能力是跨平台通用的即使以后换硬件学习成本也会低很多。如果你正在做选型不要只看参数表一定要拿真实模型去实测。多和厂商的技术支持沟通了解他们的算子覆盖情况和路线图。对于关键项目做好备选方案和迁移预案。如果你在做架构设计多关注存储和互联这两块往往比计算本身更容易成为瓶颈。另外软件栈的投入要趁早硬件流片一次就是几千万软件迭代的成本相对低得多但决定了硬件能不能真正用起来。这个领域变化很快今天的主流方案可能两年后就被替代。保持动手实验的习惯比记住任何结论都重要。我在实际使用中发现很多看似复杂的选型问题一旦把真实负载跑起来答案往往就清晰了。 
长河君 · 2026/10/25 19:59:00 · 阅读 1.2k AI芯片选型与部署实战：从训练到推理的架构、软件栈与避坑指南
1. 从算力焦虑说起为什么AI芯片突然成了焦点如果你在过去两年里深度参与过任何与深度学习相关的项目大概率经历过这样的场景模型结构调优已经到位数据集清洗得干干净净训练脚本反复检查了三遍结果一跑起来就卡在显存溢出或者多卡通信瓶颈上。这时候你才意识到限制项目进度的往往不是算法本身而是底层那颗芯片到底能不能扛住。AI芯片这个词放在五年前还只是芯片圈和学术圈的小众话题如今已经变成科技行业最热的关键词之一。它涵盖的范围其实很广从云端训练用的大算力加速卡到边缘侧推理用的低功耗NPU再到终端设备里嵌入的微型神经网络处理单元都属于这个范畴。我写这篇东西不是要复述新闻稿里的融资消息或者发布会参数而是想从一个实际使用者的角度把AI芯片当前到底发展到了什么阶段、不同技术路线各自解决了什么问题、落地时又会遇到哪些坑尽量讲清楚。这篇文章适合几类人看一是正在做模型部署、需要选型的工程师二是关注半导体和AI交叉领域的技术管理者三是对硬件加速感兴趣但还没深入动手的学生或转行者。我会尽量避开空洞的行业展望把重点放在技术逻辑和实际体验上让你读完能对AI芯片的现状有一个可操作的认知框架而不是只记住几个厂商名字。2. 拆开一颗AI芯片它和普通处理器到底差在哪2.1 冯诺依曼瓶颈与数据搬运的代价要理解AI芯片为什么必须存在得先回到一个老生常谈但极其关键的问题传统CPU的冯诺依曼架构里计算单元和存储单元是分离的。每次做一次乘法累加运算数据都要从内存搬到寄存器算完再搬回去。这个搬运过程消耗的时间和能量远远超过计算本身。我做过一个粗略的估算在典型的深度学习推理任务中一次MAC操作乘加运算如果从DRAM取数能耗大约是计算本身的几十倍甚至上百倍。这意味着什么意味着你花大价钱买的算力大部分都浪费在等数据上了。AI芯片的核心设计思路就是围绕“减少数据搬运”来做文章。无论是把存储和计算做近还是把大量计算单元堆在一起做并行本质上都是在跟这个瓶颈较劲。2.2 从通用到专用架构光谱上的不同选择市面上常说的AI芯片其实是一个很宽的光谱。一端是仍然保持一定通用性的GPU和GPGPU另一端是极度专用的ASIC。中间还夹着FPGA和各类可重构架构。它们之间的取舍逻辑用一句话概括就是越专用能效越高但灵活性越差。GPU之所以在训练领域占据主导是因为它保留了SIMT的编程模型成千上万个线程可以灵活调度适合处理动态图、变长序列这些不那么规整的计算。而ASIC比如某些推理加速卡把卷积、矩阵乘的硬件流水线焊死能效可以做到GPU的好几倍但一旦模型结构发生大变化可能就得重新流片。这个取舍没有绝对优劣完全取决于你的业务场景是“模型固定、量大管饱”还是“快速迭代、什么都要试”。2.3 训练与推理两种截然不同的负载特征很多人把AI芯片当成一个整体来讨论但实际上训练芯片和推理芯片的设计目标差异巨大。训练阶段需要高精度FP16甚至FP32、大显存、高互联带宽因为要存储梯度、优化器状态还要做多卡同步。推理阶段则更看重低延迟、低功耗、高吞吐精度往往可以量化到INT8甚至INT4。我见过不少团队在选型时犯的一个错误就是拿训练卡的指标去套推理场景结果发现功耗和成本完全不可接受。反过来用推理卡去跑训练又会因为显存不够和互联带宽不足而寸步难行。所以第一步永远是先搞清楚你到底是要训模型还是要跑模型。3. 云端训练芯片的竞争格局谁在领跑谁在追赶3.1 GPU的护城河不只是硬件更是软件栈谈到云端训练绕不开的一个事实是某家GPU厂商的统治地位很大程度上不是靠单颗芯片的峰值算力而是靠围绕它建立起来的软件生态。CUDA经过十几年的积累已经形成了从底层驱动、编译器、通信库到上层框架的完整闭环。你遇到任何算子不支持、任何性能异常社区里几乎都能找到答案。这种生态壁垒的可怕之处在于即使竞争对手的硬件在纸面参数上追平甚至反超用户迁移的成本依然高得吓人。我亲身经历过一次从CUDA迁移到另一个平台的过程光是自定义算子的重写和精度对齐就花了团队两个月这还不算调试分布式训练时遇到的各种通信问题。所以短期内训练市场的格局不会因为一两款新硬件就发生根本性改变。3.2 专用训练芯片的突围方向互联与集群追赶者选择的策略通常不是正面硬刚单卡性能而是从集群互联和系统级优化入手。比如有些方案把芯片间的互联带宽做得极高试图用大规模并行来弥补单卡差距。另一些则主打液冷和整机柜交付把部署密度和能效比作为卖点。这些方向在特定场景下确实有优势。比如训练超大参数量的模型时互联带宽往往比单卡算力更关键因为梯度同步的通信量会随着卡数增加而急剧上升。但问题在于软件栈的成熟度需要时间打磨很多团队在试用阶段就被各种算子缺失和调试困难劝退了。我的建议是如果你现在要选训练平台除非有非常明确的成本或供应链理由否则还是优先考虑生态最成熟的那一套。3.3 训练芯片选型时最容易忽略的三个指标很多人在看训练卡参数时眼睛只盯着TFLOPS。但实际用起来下面这三个指标往往更决定体验显存容量与带宽模型参数量、batch size、序列长度最终都反映在显存占用上。显存不够再高的算力也跑不起来。带宽则决定了数据喂给计算单元的速度。卡间互联带宽做数据并行或模型并行时梯度同步的开销直接取决于这个。带宽不足多卡加速比会惨不忍睹。软件栈对主流框架的支持程度不是所有芯片都能无缝跑PyTorch或TensorFlow的最新版本。有些平台需要特定的分支或补丁升级框架时可能踩坑。我个人的经验是在预算允许的情况下显存尽量往大了选。因为模型只会越来越大而显存是最难通过软件优化来弥补的硬约束。4. 推理侧的真实战场边缘与终端的芯片选择逻辑4.1 推理场景的碎片化没有一颗芯片能通吃训练市场相对集中但推理市场极其碎片化。云端推理、边缘服务器、移动端、IoT设备每个场景对功耗、算力、成本、延迟的要求都不一样。云端推理可能看重吞吐量和多模型并发边缘侧看重低延迟和离线可用移动端则必须在毫瓦级别的功耗预算内完成计算。这种碎片化导致了一个结果没有哪家厂商能像训练市场那样形成绝对垄断。这反而给了很多专用芯片公司机会它们可以在某个细分场景里做到极致比如安防摄像头里的人形检测、车载场景里的多路视频分析、工业质检里的缺陷识别。4.2 量化与剪枝让模型适配芯片的关键手段如果你打算把模型部署到边缘设备上几乎不可能绕过量化这个环节。FP32的模型直接跑在低功耗芯片上要么跑不动要么功耗爆炸。量化的本质是用更低的数值精度来表示权重和激活值比如把FP32转成INT8理论上可以把模型大小压缩到四分之一计算速度提升两到四倍。但量化不是免费的午餐。我踩过的最大的坑是训练时用FP32推理时直接转INT8结果精度掉得惨不忍睹。后来才明白量化感知训练或者至少做一轮校准是保证精度的必要步骤。另外不是所有层都适合量化比如某些归一化层和注意力机制里的softmax对精度非常敏感强行量化会引入明显误差。4.3 边缘部署的隐藏成本内存墙与散热在边缘设备上部署模型很多人只关注芯片的算力参数却忽略了内存和散热这两个隐形杀手。边缘设备的内存通常很小模型权重加上中间激活值很容易就把内存撑爆。这时候就需要做内存复用和算子融合把中间结果尽量留在片上缓存里。散热问题同样棘手。工业场景里设备可能工作在高温环境下如果芯片的散热设计不到位降频是小事死机重启就麻烦了。我见过一个项目芯片选型时只看算力结果夏天车间温度一高设备频繁重启最后不得不加装散热片和风扇成本和体积都上去了。5. 制程、封装与存储决定AI芯片上限的底层变量5.1 先进制程的红利与代价AI芯片的性能提升很大程度上依赖于半导体制造工艺的进步。从7nm到5nm再到3nm晶体管密度不断提高同样面积下能塞进更多计算单元同时功耗还能降低。但先进制程的代价是流片成本急剧上升一颗5nm芯片的设计和制造费用可能高达数亿人民币。这就导致了一个分化大厂可以靠出货量摊薄成本小公司则很难承受先进制程的试错代价。所以很多初创公司的第一代产品会选择相对成熟的制程先把架构和软件跑通等出货量上来再考虑升级。5.2 先进封装绕开制程限制的另一条路当制程微缩越来越难、越来越贵时先进封装成了提升芯片性能的重要途径。Chiplet芯粒技术就是把不同功能的小芯片像搭积木一样封装在一起比如计算芯粒用先进制程I/O芯粒用成熟制程这样既能保证性能又能控制成本。这种思路对AI芯片尤其有吸引力因为AI芯片往往包含计算阵列、高带宽存储接口、各种外设控制器不同模块对制程的需求并不一样。用Chiplet的方式做异构集成可以在性能和成本之间找到更好的平衡点。不过Chiplet也带来了新的挑战比如芯粒之间的互联带宽和延迟、封装良率、热管理等这些都需要在架构设计阶段就考虑清楚。5.3 高带宽存储算力之外的真正瓶颈如果你问我AI芯片最容易被低估的部分是什么我会说是存储。计算单元的算力可以靠堆面积来提升但存储带宽的提升要困难得多。高带宽存储HBM通过把DRAM堆叠起来用硅通孔连接可以在很小的面积内提供极高的带宽。但HBM的成本很高而且供应集中在少数几家厂商手里。在实际项目中我经常看到算力利用率上不去排查到最后发现是存储带宽不够计算单元在等数据。所以评估一颗AI芯片时不能只看TFLOPS还要看它的存储带宽和容量是否匹配。算力与带宽的比例往往比绝对算力更能反映实际性能。6. 软件栈的隐形战争编译器、框架与算子库6.1 编译器为什么这么难做AI芯片的软件栈里编译器是连接上层框架和底层硬件的桥梁。它的任务是把PyTorch或TensorFlow的计算图转换成芯片能执行的指令序列同时还要做算子融合、内存分配、指令调度等优化。这件事的难度在于深度学习模型的结构千变万化编译器要能覆盖足够多的算子还要在性能上不拖后腿。我接触过一些芯片平台硬件参数很漂亮但编译器经常遇到不支持的算子或者生成的代码性能远低于预期。这时候要么等厂商更新编译器要么自己写算子无论哪种都很耗时。所以选型时一定要拿自己真实的模型去跑一遍看看编译器的支持程度和优化效果。6.2 算子库的覆盖度决定迁移成本算子库是另一个关键。主流框架里的算子有几百个芯片厂商不可能一开始就全部支持。通常的做法是先覆盖最常用的那些比如卷积、矩阵乘、激活函数、归一化等。但如果你用的模型里有比较新的或者冷门的算子就可能遇到不支持的情况。我的经验是在项目早期就梳理清楚模型用到的所有算子然后对照芯片厂商的算子支持列表逐一确认。对于不支持的算子要提前评估是自己实现还是找替代方案。这个工作做得越早后期踩坑的概率越小。6.3 从CUDA迁移的真实体验坑在哪里如果你之前一直用CUDA迁移到其他平台时下面这几个坑几乎一定会遇到线程模型差异CUDA的线程层次结构thread、block、grid在其他平台上可能有不同的对应关系需要重新理解并行映射方式。内存管理差异显存分配、释放、拷贝的API和行为可能不同特别是异步操作和流的概念。数学库差异cuBLAS、cuDNN这些库的替代品在接口和精度上可能有细微差别需要做数值对齐。调试工具差异性能分析工具、调试器的使用方式不同排查问题的效率会受影响。我建议在迁移前先写一个最小可用的测试用例把矩阵乘、卷积这些核心操作跑通确认精度和性能都符合预期再逐步迁移整个模型。7. 落地实践中的选型框架与避坑清单7.1 先问清楚五个问题再谈选型在对比具体芯片型号之前我通常会先问团队五个问题模型是训练还是推理这决定了你关注的是训练卡还是推理卡。部署环境是什么云端、边缘服务器、移动端还是嵌入式设备模型结构会频繁变化吗如果会就需要更高的灵活性GPU或FPGA可能更合适。功耗和成本约束是什么边缘场景对功耗极其敏感云端则更看重吞吐量。团队的技术栈是什么如果团队只熟悉CUDA迁移到其他平台的隐性成本要算进去。把这五个问题回答清楚选型范围基本就缩小到两三个选项了。7.2 纸面参数与实际性能的差距从哪里来厂商标称的峰值算力通常是在理想条件下测出来的比如特定精度、特定batch size、特定算子。实际跑起来受限于存储带宽、编译器优化、算子支持度等因素能达到峰值的一半就算不错了。我在评估芯片时会特别关注厂商有没有提供端到端的benchmark比如跑一个完整的ResNet或BERT而不是只给单个算子的数据。另外最好能拿到实机做压力测试用自己的模型和数据集跑一遍看看延迟、吞吐、功耗的真实表现。7.3 供应链与长期维护容易被忽视的风险芯片选型不只是技术决策也是供应链决策。如果选的芯片供货周期很长或者厂商的路线图不清晰后续产品迭代就会很被动。我见过一些项目第一批量产用了某款芯片结果第二年想扩产时发现芯片停产了不得不重新做硬件设计和软件适配代价非常大。所以除了技术指标还要评估厂商的持续供货能力、软件更新频率、社区活跃度。对于关键项目最好有备选方案避免被单一供应商锁定。8. 未来几年的技术走向与个人判断8.1 架构创新会从哪里冒出来从目前公开的信息来看AI芯片的架构创新主要集中在几个方向一是存内计算把计算单元嵌入存储阵列从根本上消除数据搬运二是光互联用光信号代替电信号做芯片间通信提升带宽和降低延迟三是类脑计算模仿神经元的脉冲发放机制做事件驱动的稀疏计算。这些方向都很有前景但也都面临各自的工程化难题。存内计算的精度和可靠性还需要验证光互联的成本和封装复杂度很高类脑计算的编程模型和生态几乎是从零开始。我个人判断未来三到五年内主流市场仍然会是GPU、ASIC和FPGA的混合格局新架构会先从特定场景切入逐步扩大份额。8.2 软件生态的开放与封闭之争另一个值得关注的趋势是软件生态的走向。目前训练市场是封闭生态占主导但推理市场因为碎片化反而出现了更多开放标准的机会。比如ONNX这样的中间表示格式正在被越来越多的芯片厂商支持这降低了模型在不同硬件间迁移的成本。如果未来出现一个真正跨平台的、高性能的编译器栈那么芯片硬件的差异化就会更多体现在制程、封装和存储上而不是软件锁定。这对用户来说是好事但对靠生态壁垒吃饭的厂商来说压力会越来越大。8.3 给不同阶段从业者的建议如果你刚入行我的建议是先把CUDA或某一套主流软件栈用熟理解并行计算和性能优化的基本方法。这些底层能力是跨平台通用的即使以后换硬件学习成本也会低很多。如果你正在做选型不要只看参数表一定要拿真实模型去实测。多和厂商的技术支持沟通了解他们的算子覆盖情况和路线图。对于关键项目做好备选方案和迁移预案。如果你在做架构设计多关注存储和互联这两块往往比计算本身更容易成为瓶颈。另外软件栈的投入要趁早硬件流片一次就是几千万软件迭代的成本相对低得多但决定了硬件能不能真正用起来。这个领域变化很快今天的主流方案可能两年后就被替代。保持动手实验的习惯比记住任何结论都重要。我在实际使用中发现很多看似复杂的选型问题一旦把真实负载跑起来答案往往就清晰了。