1. 从上海峰会现场回来我看到的AI芯片路线图已经彻底变了上周在上海世博中心待了整整三天脚底板站到发麻但脑子是越逛越清醒。如果你没去现场又想知道AI芯片接下来到底往哪走我把我看到的、听到的、跟展台工程师聊出来的东西整理成这篇。核心关键词就几个AI芯片、大模型、智能体、3D堆叠。这四个词串起来基本就是未来两年整个行业的主线剧情。先说一个最直观的感受以前聊AI芯片大家比的是算力峰值、制程纳米数、功耗瓦数。今年上海峰会上这些参数还在但已经不是焦点了。真正让展台被围得水泄不通的是那些能把大模型塞进边缘设备、能把智能体跑在本地、能用3D堆叠把内存和计算单元贴在一起的技术方案。换句话说行业从“堆算力”转向了“堆效率”和“堆场景”。这篇文章适合谁看如果你是做AI应用开发的想知道底层硬件风向怎么影响你的技术选型如果你是硬件工程师想了解3D堆叠和存算一体到底走到哪一步了如果你只是对AI芯片感兴趣的技术爱好者想搞明白大模型和智能体背后的硬件支撑逻辑——这篇都能给你一个相对完整的图景。我会尽量用从业者之间聊天的口吻把展台上那些“只可意会”的东西翻译成能看懂、能参考、能拿去跟同事讨论的内容。2. 为什么这届上海峰会的AI芯片话题跟往年完全不一样2.1 从“训练为王”到“推理落地”的转折点前几年AI芯片的叙事逻辑非常单一谁家的芯片训练大模型更快谁就是王者。英伟达的H100、A100系列几乎垄断了所有讨论。但今年上海峰会上我明显感觉到风向变了。训练当然还是重要但推理成了新的主战场。原因很简单大模型已经过了“炫技”阶段现在要落地到具体场景里而落地就意味着推理成本必须降下来。我在某个展台跟一位做芯片架构的工程师聊了将近二十分钟他说了一句让我印象很深的话“训练芯片是给少数人用的推理芯片是给所有人用的。”这句话背后的逻辑是训练一个大模型可能需要几千张卡跑几个月但推理是每天、每时、每刻都在发生的事。你手机上的语音助手、工厂里的质检系统、客服中心的智能体背后都是推理在支撑。推理芯片的能效比、成本、延迟直接决定了AI应用能不能规模化。所以今年峰会上我看到大量厂商在推推理专用芯片有的主打低功耗边缘推理有的主打高吞吐数据中心推理还有的干脆把推理能力集成到SoC里。这个趋势对开发者来说意味着什么意味着你以后选硬件方案的时候不能只看“能不能跑大模型”还要看“跑起来划不划算”。2.2 智能体爆发对芯片提出了什么新要求智能体是今年上海峰会另一个高频词。从展台演示到圆桌论坛几乎所有人都在聊智能体。但很多人没意识到的是智能体对芯片的要求跟传统AI应用完全不同。传统AI应用通常是“输入-推理-输出”的单次调用比如你拍张照片识别物体一次推理就结束了。但智能体是持续运行的它要感知环境、做决策、调用工具、再感知、再决策形成一个闭环。这就对芯片提出了几个新要求。第一是低延迟智能体做决策不能等太久否则用户体验就崩了。第二是高并发一个智能体可能同时处理多个任务比如一边跟用户对话一边查数据库一边调用外部API。第三是能效比智能体往往是7x24小时运行的如果功耗太高部署成本就下不来。我在一个做智能体框架的展台看到他们演示了一个本地运行的销售智能体背后用的是一块边缘AI芯片。工作人员告诉我他们选芯片的时候最看重的不是峰值算力而是“在持续负载下的稳定性”和“内存带宽”。因为智能体要频繁读写上下文内存带宽不够的话芯片算力再强也发挥不出来。这个细节让我意识到AI芯片的竞争维度已经从单纯的算力比拼扩展到了内存、互联、软件栈的全方位较量。2.3 3D堆叠为什么成了绕不开的技术路线3D堆叠这个词在峰会上出现的频率高到离谱。几乎每一家做高性能AI芯片的厂商都在讲自己的3D堆叠方案。为什么因为传统芯片设计遇到了物理极限。你把晶体管做小到3纳米、2纳米再往下就越来越难成本也越来越高。但AI对大模型的需求是无限的怎么办答案就是往垂直方向要空间。3D堆叠简单来说就是把多层芯片像盖楼一样叠起来层与层之间用硅通孔连接。这样做的好处非常直接缩短数据传输距离提高带宽降低功耗。以前内存和计算单元是分开的数据要在PCB板上跑来跑去又慢又费电。现在把内存直接堆在计算单元上面数据垂直传输距离从毫米级缩短到微米级带宽可以提升一个数量级。我在一个存储芯片厂商的展台看到了他们的3D堆叠方案演示工作人员用了一个很形象的比喻“以前是平房现在是高层公寓。平房占地大、通勤远高层公寓占地小、上下楼方便。”这个比喻虽然简单但把3D堆叠的核心价值说清楚了。对于大模型推理来说内存带宽往往是瓶颈3D堆叠直接把这个瓶颈给打通了。3. 大模型推理芯片的选型逻辑与实操要点3.1 训练和推理的芯片需求到底差在哪很多人会把训练芯片和推理芯片混为一谈觉得反正都是跑AI能跑就行。但实际选型的时候这两者的需求差异非常大。训练阶段追求的是极致算力和大规模并行因为你要在短时间内处理海量数据、更新海量参数。这时候功耗高一点、成本高一点都可以接受因为训练是一次性投入。但推理阶段追求的是能效比、延迟和成本因为推理是持续发生的每一分钱、每一瓦电都要算清楚。具体来说训练芯片通常需要高精度计算能力比如FP32或者BF16因为梯度更新对精度很敏感。而推理芯片可以接受更低精度比如INT8甚至INT4因为推理对精度的容忍度更高降低精度可以大幅提升能效比。另外训练芯片需要大容量高带宽内存来存储模型参数和中间激活值推理芯片则更看重内存带宽和容量之间的平衡。我在峰会上跟一位做推理芯片的架构师聊他给了一个很实用的选型框架先看你的模型有多大再看你的延迟要求是多少最后看你的部署环境是数据中心还是边缘。这三个问题回答清楚了芯片选型基本就定了。比如你跑一个7B参数的大模型延迟要求是100毫秒以内部署在边缘设备上那你就需要一块内存带宽足够大、功耗足够低、支持INT8量化的推理芯片。3.2 内存带宽为什么比算力更关键这是一个很容易被忽略的点。很多人在选AI芯片的时候只看TOPS每秒万亿次操作觉得数字越大越好。但实际跑大模型的时候你会发现内存带宽往往是真正的瓶颈。为什么因为大模型的参数量太大了每次推理都要把大量参数从内存搬到计算单元如果内存带宽不够计算单元再强也只能干等着。举个例子一个70亿参数的模型如果用FP16精度存储大概需要14GB内存。每次推理都要把这14GB数据过一遍如果内存带宽是100GB/s那光传输数据就要0.14秒这还没算计算时间。所以对于大模型推理来说内存带宽直接决定了延迟下限。这也是为什么3D堆叠这么受关注因为它能把内存和计算单元贴在一起带宽可以做到传统方案的几倍甚至十几倍。我在展台上看到一家厂商的对比数据同样跑一个13B模型传统方案的内存带宽是200GB/s延迟是80毫秒他们的3D堆叠方案带宽做到800GB/s延迟降到25毫秒。这个差距在实际应用中就是“能用”和“好用”的区别。所以如果你在做大模型部署选芯片的时候一定要把内存带宽放在跟算力同等重要的位置。3.3 量化精度怎么选才不踩坑量化是推理芯片绕不开的话题。简单说就是把模型参数从高精度比如FP16转换成低精度比如INT8这样可以减少内存占用、提升计算速度、降低功耗。但量化不是没有代价的精度降得太狠模型效果就会崩。我在峰会上听到好几个团队分享量化踩坑的经历总结下来有几个关键点。第一不是所有层都适合量化。有些层对精度敏感比如注意力机制里的softmax层量化后效果下降明显。有些层则很鲁棒比如全连接层量化后几乎没影响。所以好的量化方案应该是混合精度的敏感层保持高精度不敏感层用低精度。第二量化需要校准数据。你不能随便拿一堆数据去校准要用跟实际推理场景分布一致的数据。我见过一个团队用通用数据集校准结果在实际业务数据上效果很差。后来他们换成业务数据校准效果就回来了。第三量化后一定要做端到端评测。不能只看困惑度或者准确率这些指标要看实际业务指标。比如你做的是客服智能体就要看量化后意图识别准确率、回复质量有没有下降。我在展台上看到一家做智能体的公司他们量化后业务指标掉了5个百分点后来调整了量化策略才恢复。4. 智能体部署对芯片架构的实际影响4.1 智能体的工作流对硬件提出了什么新需求智能体跟传统AI应用最大的区别在于它的工作流是动态的、多步骤的。一个典型的智能体工作流可能是接收用户输入→理解意图→检索知识库→调用工具→生成回复→检查回复→输出。这个流程里每一步都可能涉及不同的计算任务有的需要大模型推理有的需要向量检索有的需要规则引擎。这对芯片架构提出了几个新需求。首先是异构计算因为不同任务适合不同的计算单元。大模型推理适合GPU或者NPU向量检索适合CPU或者专用加速器规则引擎可能只需要CPU。如果所有任务都挤在一个计算单元上跑效率就会很低。所以现在很多AI芯片都在往异构集成方向发展把CPU、GPU、NPU、DSP集成到一颗芯片上让不同任务跑在不同单元上。其次是低延迟互联。智能体的多个步骤之间需要频繁传递数据如果互联延迟太高整体响应时间就会拉长。我在展台上看到一家厂商的芯片方案他们在片内用了高带宽互联总线把不同计算单元之间的数据传输延迟做到了纳秒级。工作人员说这个设计就是为了应对智能体这种多步骤工作流。第三是内存管理。智能体运行过程中会产生大量中间状态比如对话历史、检索结果、工具调用记录。这些状态需要高效管理不能每次都从主存里读写。所以好的AI芯片应该有足够大的片上缓存和智能的内存调度机制。4.2 本地部署智能体的芯片方案怎么选本地部署大模型和智能体是今年的一个明显趋势。原因很多延迟低、数据不出本地、不依赖网络。但本地部署对芯片的要求跟云端完全不同。云端可以堆很多张卡本地设备空间有限、功耗有限、散热有限。我在峰会上看到几个本地部署智能体的演示用的芯片方案各有不同。有的是用高算力SoC把CPU、GPU、NPU集成在一起适合跑中等规模的模型。有的是用边缘AI加速卡通过PCIe接口插到设备上适合对算力要求更高的场景。还有的是用手机芯片改的主打超低功耗。选本地部署方案的时候我建议重点看三个指标。第一是内存容量因为模型参数要全部加载到内存里容量不够就跑不起来。第二是内存带宽决定了推理速度。第三是功耗决定了设备能不能长时间稳定运行。这三个指标要平衡不能只看其中一个。我自己的经验是如果你要本地跑一个7B左右的模型至少需要16GB内存和100GB/s以上的带宽。如果要跑13B以上的模型32GB内存和200GB/s带宽是起步线。功耗方面如果设备是插电的50W到100W可以接受如果是电池供电的最好控制在10W以内。4.3 智能体框架跟芯片的适配问题智能体框架跟芯片的适配是一个很容易被忽略但非常关键的环节。你选了一款芯片算力、带宽、功耗都合适但框架跑不起来或者跑得很慢那就白搭了。我在峰会上听到好几个团队吐槽框架适配的坑。最常见的问题是算子支持不全。智能体框架里用到的算子可能跟传统深度学习框架不太一样比如有些框架用了自定义的注意力机制或者特殊的归一化层。如果芯片的软件栈不支持这些算子就得回退到CPU上跑性能直接崩掉。所以选芯片的时候一定要确认它的软件栈支持你用的智能体框架。第二个问题是内存分配策略不匹配。智能体运行时会动态申请和释放内存如果芯片的内存管理策略跟框架的预期不一致就可能出现内存碎片或者频繁的分配释放开销。我在展台上看到一家芯片厂商专门针对智能体场景优化了内存分配器把内存申请延迟降低了80%。第三个问题是多模型切换。一个智能体可能同时用到多个模型比如一个用于意图理解的小模型和一个用于生成的大模型。如果芯片不支持快速模型切换每次切换都要重新加载参数延迟就会很高。好的芯片方案应该支持多模型常驻内存切换时只需要切换计算图。5. 3D堆叠技术的实操细节与避坑指南5.1 3D堆叠到底是怎么实现的3D堆叠听起来很玄乎但核心原理并不复杂。简单说就是把多层芯片垂直叠起来层与层之间用硅通孔TSV连接。TSV是穿透硅片的垂直导电通道直径只有几微米但能传输高速信号。有了TSV不同层之间的数据传输就不需要绕到芯片边缘再走PCB板直接垂直穿透距离缩短到微米级。实现3D堆叠有几个关键步骤。首先是晶圆减薄把每层芯片的硅片磨到几十微米厚这样才能叠得起来。然后是TSV刻蚀和填充在硅片上打出垂直孔洞填入铜等导电材料。接着是键合把两层芯片对准、压合、加热让TSV连接起来。最后是封装把叠好的芯片封装保护起来。我在展台上看到一家厂商的3D堆叠样品他们把一块逻辑芯片和一块存储芯片叠在一起中间用密密麻麻的TSV连接。工作人员说他们的TSV密度做到了每平方毫米一万个以上带宽比传统方案提升了8倍。这个数字如果放到实际应用中意味着大模型推理的延迟可以大幅降低。5.2 3D堆叠的散热和良率问题怎么解决3D堆叠虽然好但有两个大坑散热和良率。先说散热。芯片叠起来之后热量也叠起来了。中间层的芯片被上下夹着热量散不出去温度会很高。温度一高芯片就降频性能就下来了。所以3D堆叠方案必须解决散热问题。常见的散热方案有几种。一种是在层间插入导热材料把热量横向传导到边缘再散出去。另一种是在芯片背面做微流道让冷却液直接流过芯片表面。还有一种是优化功耗分布把高功耗单元分散到不同层避免热量集中。我在展台上看到一家厂商用了微流道方案他们说可以把结温控制在85度以下但成本也上去了。再说良率。3D堆叠是多个芯片叠在一起任何一层有问题整个堆叠就废了。所以良率是乘法关系假设每层良率是95%叠四层之后整体良率就降到81%。这对成本影响很大。解决办法一个是提高每层良率另一个是采用“已知良好芯片”策略每层芯片先测试再堆叠。还有一种是冗余设计多放一些TSV坏掉几个不影响整体功能。5.3 3D堆叠对开发者的实际影响你可能会问3D堆叠是芯片厂商的事跟我一个开发者有什么关系关系很大。因为3D堆叠会改变芯片的编程模型和性能特征。传统芯片的内存访问延迟是相对固定的但3D堆叠芯片的内存访问延迟可能跟数据在哪个层有关。如果你不了解这个特性写出来的代码可能性能很差。举个例子如果计算单元在第一层内存在第二层那访问第二层内存的延迟就比访问第一层内存高。好的编程模型应该尽量让计算和数据在同一层或者至少让频繁访问的数据放在离计算单元近的层。这需要开发者对芯片的物理结构有一定了解。另外3D堆叠芯片的带宽虽然高但延迟可能不是均匀的。有些访问模式能充分利用带宽有些则不能。我在峰会上听到一个团队分享经验他们通过调整数据布局把推理性能提升了30%。所以如果你用的是3D堆叠芯片一定要花时间研究它的内存访问特性不要想当然地写代码。6. 常见问题与排查技巧实录6.1 大模型推理延迟高怎么排查这是我在峰会上被问得最多的问题。大模型推理延迟高原因可能有很多排查思路要系统化。我整理了一个排查顺序从最常见的原因开始。排查项可能原因检查方法解决方向内存带宽带宽不足导致计算单元等数据用性能分析工具看内存利用率换更高带宽芯片或优化数据布局量化策略精度太高导致计算量大检查是否用了FP16而非INT8调整量化策略敏感层保持高精度批处理大小批太小导致计算单元利用率低看计算单元利用率指标增大批处理大小但注意延迟要求算子实现某些算子回退到CPU看算子执行时间分布换支持该算子的芯片或框架内存分配频繁分配释放导致开销看内存分配调用次数用内存池或预分配策略我自己的经验是大部分延迟问题都出在内存带宽和量化策略上。先查这两个基本能解决80%的问题。如果还不行再看算子实现和内存分配。6.2 智能体运行不稳定的排查思路智能体运行不稳定表现可能是响应时间忽长忽短、偶尔崩溃、结果不一致。这类问题排查起来比较麻烦因为涉及的因素多。我一般按这个顺序查。先看内存泄漏。智能体长时间运行如果内存只增不减那肯定是泄漏了。用内存监控工具看内存曲线如果呈锯齿状上升那就是泄漏。常见原因是对话历史没有清理、工具调用结果没有释放、缓存没有淘汰策略。再看并发冲突。智能体可能同时处理多个请求如果共享状态没有加锁就会出现数据竞争。表现是结果不一致或者偶尔崩溃。解决办法是给共享状态加锁或者用无状态设计每个请求独立处理。然后看外部依赖。智能体经常要调用外部API或者数据库如果外部依赖不稳定智能体也会不稳定。解决办法是加超时和重试机制外部依赖挂了要有降级方案。最后看芯片过热降频。如果智能体跑在边缘设备上长时间高负载可能导致芯片过热降频性能就下来了。用温度监控工具看芯片温度如果接近阈值就要优化散热或者降低负载。6.3 3D堆叠芯片的编程避坑清单如果你开始用3D堆叠芯片做开发有几个坑我提前给你标出来。第一不要假设内存访问延迟是均匀的。3D堆叠芯片不同层的内存访问延迟可能不同写代码的时候要尽量让计算和数据在同一层。如果你不确定数据在哪层用性能分析工具查一下。第二注意TSV带宽的利用。TSV带宽虽然高但如果你访问模式不对可能用不满。比如随机访问小数据块带宽利用率就很低。尽量用连续访问大数据块把带宽吃满。第三散热设计要提前考虑。3D堆叠芯片发热集中如果你的设备散热设计不好芯片会降频。做结构设计的时候就要把散热路径规划好不要等芯片装上去才发现散热不够。第四良率问题会影响供货。3D堆叠芯片良率相对低可能导致供货不稳定。如果你做产品规划要考虑到这个风险提前备货或者准备替代方案。7. 我在峰会现场看到的几个有意思的落地案例7.1 工业质检智能体的芯片方案我在一个工业AI展台看到一个质检智能体的演示。产线上有摄像头实时拍摄产品图像智能体分析图像判断有没有缺陷如果有缺陷就通知机械臂剔除。整个流程要求延迟在50毫秒以内因为产线速度很快延迟高了就来不及剔除。他们用的芯片方案是一块边缘AI加速卡功耗25W算力大概是20TOPS。工作人员说他们选芯片的时候最看重的是确定性延迟就是每次推理的时间要稳定不能忽快忽慢。因为产线节拍是固定的如果推理时间波动大就会打乱节拍。他们最后选的芯片有硬件调度器能保证推理时间在±5%以内波动。这个案例让我意识到工业场景对芯片的要求跟消费场景完全不同。消费场景可以容忍偶尔卡顿工业场景不行。所以如果你做工业智能体选芯片的时候一定要看确定性延迟指标不能只看平均延迟。7.2 服装检测的云边协同方案服装检测是另一个有意思的案例。一家做服装AI的公司展示了他们的方案产线上用边缘芯片做初步检测把可疑图片上传到云端做精细检测。边缘芯片负责快速筛选云端负责高精度判断。他们用的边缘芯片是一块低功耗SoC功耗只有5W算力大概5TOPS。工作人员说边缘端不需要太高的算力因为大部分图片都是正常的边缘端只要能快速筛掉正常图片就行。真正需要精细判断的图片不到5%上传到云端处理云端可以用大模型做更复杂的分析。这个方案的好处是成本低、延迟可控。边缘端芯片便宜、功耗低云端只在必要时才用。对于大规模产线来说这个方案比全部上云端或者全部上边缘都划算。我问他边缘端用的什么模型他说是一个轻量化的检测模型参数量只有几百万跑在INT8精度下。7.3 本地部署大模型的个人电脑方案峰会上还有一个展台展示了在个人电脑上本地部署大模型的方案。用的是一块集成了NPU的处理器配合32GB内存可以跑13B参数的模型推理速度大概是每秒10个token。工作人员演示了本地运行的智能体可以回答问题、写代码、分析文档全程不联网。这个方案的意义在于隐私和延迟。数据不出本地隐私有保障不依赖网络延迟稳定。适合对隐私要求高的场景比如法律、医疗、金融。工作人员说他们优化了内存管理让模型参数常驻内存避免每次推理都重新加载。另外他们还做了算子融合把多个小算子合并成一个大算子减少内核启动开销。我试了一下他们的演示响应速度确实可以接受日常对话基本感觉不到延迟。但跑复杂任务的时候还是有点慢比如让它分析一份长文档要等好几秒。工作人员说这是本地部署的固有局限算力和内存带宽都比不上云端。但对于很多场景来说这个性能已经够用了。8. 从上海峰会看AI芯片下一步的几个判断8.1 推理芯片会越来越像“专用集成电路”我在峰会上跟好几个芯片架构师聊大家有一个共识通用AI芯片的时代正在过去专用推理芯片的时代正在到来。为什么因为通用芯片为了兼容各种模型和框架做了很多冗余设计这些冗余在特定场景下就是浪费。专用芯片可以针对特定模型结构、特定精度、特定批处理大小做优化能效比可以做到通用芯片的好几倍。这个趋势对开发者的影响是你以后选芯片不能只看“支持什么框架”还要看“针对什么场景优化”。比如你做智能体就要选针对智能体工作流优化的芯片你做工业质检就要选针对视觉推理优化的芯片。通用芯片可能什么都能跑但什么都跑不到最好。8.2 3D堆叠会从高端走向主流3D堆叠现在主要还是用在高端芯片上因为成本高、良率低。但我判断未来两年会逐步走向主流。原因有两个一是传统芯片微缩越来越难3D堆叠是绕开物理极限的可行路径二是随着大模型普及内存带宽需求越来越大3D堆叠是解决带宽瓶颈的最直接方案。当3D堆叠成本降下来之后中端芯片也会开始用。到时候开发者选芯片的时候内存带宽这个指标会变得更重要。因为3D堆叠把带宽做上去了计算单元反而可能成为瓶颈。所以未来的优化重点可能会从“减少内存访问”转向“提高计算效率”。8.3 智能体会推动芯片架构的异构化智能体的工作流是多样化的单一计算单元很难高效处理所有任务。所以未来的AI芯片一定会往异构化方向发展把CPU、GPU、NPU、DSP甚至专用加速器集成在一起让不同任务跑在不同单元上。这对开发者提出了新要求你需要了解不同计算单元的特性知道什么任务该放到什么单元上跑。我在峰会上看到一家厂商的芯片方案他们把智能体的不同步骤映射到了不同计算单元意图理解跑在NPU上向量检索跑在专用加速器上工具调用跑在CPU上生成跑在GPU上。整个流程的延迟比全部跑在GPU上降低了60%。这个案例说明异构计算不是概念是已经在落地的方案。最后分享一个我在展台上听到的小技巧如果你在做智能体开发选芯片的时候一定要问厂商要端到端延迟数据不要只看单次推理延迟。因为智能体是多步骤的单次推理快不代表整体快。端到端延迟才是用户真正感知到的延迟。这个指标很多厂商不会主动提供但你可以要求他们跑一个完整的智能体工作流来测。 
长河君 · 2026/11/2 12:37:07 · 阅读 1.2k 从上海峰会看AI芯片新趋势：大模型推理、智能体与3D堆叠
1. 从上海峰会现场回来我看到的AI芯片路线图已经彻底变了上周在上海世博中心待了整整三天脚底板站到发麻但脑子是越逛越清醒。如果你没去现场又想知道AI芯片接下来到底往哪走我把我看到的、听到的、跟展台工程师聊出来的东西整理成这篇。核心关键词就几个AI芯片、大模型、智能体、3D堆叠。这四个词串起来基本就是未来两年整个行业的主线剧情。先说一个最直观的感受以前聊AI芯片大家比的是算力峰值、制程纳米数、功耗瓦数。今年上海峰会上这些参数还在但已经不是焦点了。真正让展台被围得水泄不通的是那些能把大模型塞进边缘设备、能把智能体跑在本地、能用3D堆叠把内存和计算单元贴在一起的技术方案。换句话说行业从“堆算力”转向了“堆效率”和“堆场景”。这篇文章适合谁看如果你是做AI应用开发的想知道底层硬件风向怎么影响你的技术选型如果你是硬件工程师想了解3D堆叠和存算一体到底走到哪一步了如果你只是对AI芯片感兴趣的技术爱好者想搞明白大模型和智能体背后的硬件支撑逻辑——这篇都能给你一个相对完整的图景。我会尽量用从业者之间聊天的口吻把展台上那些“只可意会”的东西翻译成能看懂、能参考、能拿去跟同事讨论的内容。2. 为什么这届上海峰会的AI芯片话题跟往年完全不一样2.1 从“训练为王”到“推理落地”的转折点前几年AI芯片的叙事逻辑非常单一谁家的芯片训练大模型更快谁就是王者。英伟达的H100、A100系列几乎垄断了所有讨论。但今年上海峰会上我明显感觉到风向变了。训练当然还是重要但推理成了新的主战场。原因很简单大模型已经过了“炫技”阶段现在要落地到具体场景里而落地就意味着推理成本必须降下来。我在某个展台跟一位做芯片架构的工程师聊了将近二十分钟他说了一句让我印象很深的话“训练芯片是给少数人用的推理芯片是给所有人用的。”这句话背后的逻辑是训练一个大模型可能需要几千张卡跑几个月但推理是每天、每时、每刻都在发生的事。你手机上的语音助手、工厂里的质检系统、客服中心的智能体背后都是推理在支撑。推理芯片的能效比、成本、延迟直接决定了AI应用能不能规模化。所以今年峰会上我看到大量厂商在推推理专用芯片有的主打低功耗边缘推理有的主打高吞吐数据中心推理还有的干脆把推理能力集成到SoC里。这个趋势对开发者来说意味着什么意味着你以后选硬件方案的时候不能只看“能不能跑大模型”还要看“跑起来划不划算”。2.2 智能体爆发对芯片提出了什么新要求智能体是今年上海峰会另一个高频词。从展台演示到圆桌论坛几乎所有人都在聊智能体。但很多人没意识到的是智能体对芯片的要求跟传统AI应用完全不同。传统AI应用通常是“输入-推理-输出”的单次调用比如你拍张照片识别物体一次推理就结束了。但智能体是持续运行的它要感知环境、做决策、调用工具、再感知、再决策形成一个闭环。这就对芯片提出了几个新要求。第一是低延迟智能体做决策不能等太久否则用户体验就崩了。第二是高并发一个智能体可能同时处理多个任务比如一边跟用户对话一边查数据库一边调用外部API。第三是能效比智能体往往是7x24小时运行的如果功耗太高部署成本就下不来。我在一个做智能体框架的展台看到他们演示了一个本地运行的销售智能体背后用的是一块边缘AI芯片。工作人员告诉我他们选芯片的时候最看重的不是峰值算力而是“在持续负载下的稳定性”和“内存带宽”。因为智能体要频繁读写上下文内存带宽不够的话芯片算力再强也发挥不出来。这个细节让我意识到AI芯片的竞争维度已经从单纯的算力比拼扩展到了内存、互联、软件栈的全方位较量。2.3 3D堆叠为什么成了绕不开的技术路线3D堆叠这个词在峰会上出现的频率高到离谱。几乎每一家做高性能AI芯片的厂商都在讲自己的3D堆叠方案。为什么因为传统芯片设计遇到了物理极限。你把晶体管做小到3纳米、2纳米再往下就越来越难成本也越来越高。但AI对大模型的需求是无限的怎么办答案就是往垂直方向要空间。3D堆叠简单来说就是把多层芯片像盖楼一样叠起来层与层之间用硅通孔连接。这样做的好处非常直接缩短数据传输距离提高带宽降低功耗。以前内存和计算单元是分开的数据要在PCB板上跑来跑去又慢又费电。现在把内存直接堆在计算单元上面数据垂直传输距离从毫米级缩短到微米级带宽可以提升一个数量级。我在一个存储芯片厂商的展台看到了他们的3D堆叠方案演示工作人员用了一个很形象的比喻“以前是平房现在是高层公寓。平房占地大、通勤远高层公寓占地小、上下楼方便。”这个比喻虽然简单但把3D堆叠的核心价值说清楚了。对于大模型推理来说内存带宽往往是瓶颈3D堆叠直接把这个瓶颈给打通了。3. 大模型推理芯片的选型逻辑与实操要点3.1 训练和推理的芯片需求到底差在哪很多人会把训练芯片和推理芯片混为一谈觉得反正都是跑AI能跑就行。但实际选型的时候这两者的需求差异非常大。训练阶段追求的是极致算力和大规模并行因为你要在短时间内处理海量数据、更新海量参数。这时候功耗高一点、成本高一点都可以接受因为训练是一次性投入。但推理阶段追求的是能效比、延迟和成本因为推理是持续发生的每一分钱、每一瓦电都要算清楚。具体来说训练芯片通常需要高精度计算能力比如FP32或者BF16因为梯度更新对精度很敏感。而推理芯片可以接受更低精度比如INT8甚至INT4因为推理对精度的容忍度更高降低精度可以大幅提升能效比。另外训练芯片需要大容量高带宽内存来存储模型参数和中间激活值推理芯片则更看重内存带宽和容量之间的平衡。我在峰会上跟一位做推理芯片的架构师聊他给了一个很实用的选型框架先看你的模型有多大再看你的延迟要求是多少最后看你的部署环境是数据中心还是边缘。这三个问题回答清楚了芯片选型基本就定了。比如你跑一个7B参数的大模型延迟要求是100毫秒以内部署在边缘设备上那你就需要一块内存带宽足够大、功耗足够低、支持INT8量化的推理芯片。3.2 内存带宽为什么比算力更关键这是一个很容易被忽略的点。很多人在选AI芯片的时候只看TOPS每秒万亿次操作觉得数字越大越好。但实际跑大模型的时候你会发现内存带宽往往是真正的瓶颈。为什么因为大模型的参数量太大了每次推理都要把大量参数从内存搬到计算单元如果内存带宽不够计算单元再强也只能干等着。举个例子一个70亿参数的模型如果用FP16精度存储大概需要14GB内存。每次推理都要把这14GB数据过一遍如果内存带宽是100GB/s那光传输数据就要0.14秒这还没算计算时间。所以对于大模型推理来说内存带宽直接决定了延迟下限。这也是为什么3D堆叠这么受关注因为它能把内存和计算单元贴在一起带宽可以做到传统方案的几倍甚至十几倍。我在展台上看到一家厂商的对比数据同样跑一个13B模型传统方案的内存带宽是200GB/s延迟是80毫秒他们的3D堆叠方案带宽做到800GB/s延迟降到25毫秒。这个差距在实际应用中就是“能用”和“好用”的区别。所以如果你在做大模型部署选芯片的时候一定要把内存带宽放在跟算力同等重要的位置。3.3 量化精度怎么选才不踩坑量化是推理芯片绕不开的话题。简单说就是把模型参数从高精度比如FP16转换成低精度比如INT8这样可以减少内存占用、提升计算速度、降低功耗。但量化不是没有代价的精度降得太狠模型效果就会崩。我在峰会上听到好几个团队分享量化踩坑的经历总结下来有几个关键点。第一不是所有层都适合量化。有些层对精度敏感比如注意力机制里的softmax层量化后效果下降明显。有些层则很鲁棒比如全连接层量化后几乎没影响。所以好的量化方案应该是混合精度的敏感层保持高精度不敏感层用低精度。第二量化需要校准数据。你不能随便拿一堆数据去校准要用跟实际推理场景分布一致的数据。我见过一个团队用通用数据集校准结果在实际业务数据上效果很差。后来他们换成业务数据校准效果就回来了。第三量化后一定要做端到端评测。不能只看困惑度或者准确率这些指标要看实际业务指标。比如你做的是客服智能体就要看量化后意图识别准确率、回复质量有没有下降。我在展台上看到一家做智能体的公司他们量化后业务指标掉了5个百分点后来调整了量化策略才恢复。4. 智能体部署对芯片架构的实际影响4.1 智能体的工作流对硬件提出了什么新需求智能体跟传统AI应用最大的区别在于它的工作流是动态的、多步骤的。一个典型的智能体工作流可能是接收用户输入→理解意图→检索知识库→调用工具→生成回复→检查回复→输出。这个流程里每一步都可能涉及不同的计算任务有的需要大模型推理有的需要向量检索有的需要规则引擎。这对芯片架构提出了几个新需求。首先是异构计算因为不同任务适合不同的计算单元。大模型推理适合GPU或者NPU向量检索适合CPU或者专用加速器规则引擎可能只需要CPU。如果所有任务都挤在一个计算单元上跑效率就会很低。所以现在很多AI芯片都在往异构集成方向发展把CPU、GPU、NPU、DSP集成到一颗芯片上让不同任务跑在不同单元上。其次是低延迟互联。智能体的多个步骤之间需要频繁传递数据如果互联延迟太高整体响应时间就会拉长。我在展台上看到一家厂商的芯片方案他们在片内用了高带宽互联总线把不同计算单元之间的数据传输延迟做到了纳秒级。工作人员说这个设计就是为了应对智能体这种多步骤工作流。第三是内存管理。智能体运行过程中会产生大量中间状态比如对话历史、检索结果、工具调用记录。这些状态需要高效管理不能每次都从主存里读写。所以好的AI芯片应该有足够大的片上缓存和智能的内存调度机制。4.2 本地部署智能体的芯片方案怎么选本地部署大模型和智能体是今年的一个明显趋势。原因很多延迟低、数据不出本地、不依赖网络。但本地部署对芯片的要求跟云端完全不同。云端可以堆很多张卡本地设备空间有限、功耗有限、散热有限。我在峰会上看到几个本地部署智能体的演示用的芯片方案各有不同。有的是用高算力SoC把CPU、GPU、NPU集成在一起适合跑中等规模的模型。有的是用边缘AI加速卡通过PCIe接口插到设备上适合对算力要求更高的场景。还有的是用手机芯片改的主打超低功耗。选本地部署方案的时候我建议重点看三个指标。第一是内存容量因为模型参数要全部加载到内存里容量不够就跑不起来。第二是内存带宽决定了推理速度。第三是功耗决定了设备能不能长时间稳定运行。这三个指标要平衡不能只看其中一个。我自己的经验是如果你要本地跑一个7B左右的模型至少需要16GB内存和100GB/s以上的带宽。如果要跑13B以上的模型32GB内存和200GB/s带宽是起步线。功耗方面如果设备是插电的50W到100W可以接受如果是电池供电的最好控制在10W以内。4.3 智能体框架跟芯片的适配问题智能体框架跟芯片的适配是一个很容易被忽略但非常关键的环节。你选了一款芯片算力、带宽、功耗都合适但框架跑不起来或者跑得很慢那就白搭了。我在峰会上听到好几个团队吐槽框架适配的坑。最常见的问题是算子支持不全。智能体框架里用到的算子可能跟传统深度学习框架不太一样比如有些框架用了自定义的注意力机制或者特殊的归一化层。如果芯片的软件栈不支持这些算子就得回退到CPU上跑性能直接崩掉。所以选芯片的时候一定要确认它的软件栈支持你用的智能体框架。第二个问题是内存分配策略不匹配。智能体运行时会动态申请和释放内存如果芯片的内存管理策略跟框架的预期不一致就可能出现内存碎片或者频繁的分配释放开销。我在展台上看到一家芯片厂商专门针对智能体场景优化了内存分配器把内存申请延迟降低了80%。第三个问题是多模型切换。一个智能体可能同时用到多个模型比如一个用于意图理解的小模型和一个用于生成的大模型。如果芯片不支持快速模型切换每次切换都要重新加载参数延迟就会很高。好的芯片方案应该支持多模型常驻内存切换时只需要切换计算图。5. 3D堆叠技术的实操细节与避坑指南5.1 3D堆叠到底是怎么实现的3D堆叠听起来很玄乎但核心原理并不复杂。简单说就是把多层芯片垂直叠起来层与层之间用硅通孔TSV连接。TSV是穿透硅片的垂直导电通道直径只有几微米但能传输高速信号。有了TSV不同层之间的数据传输就不需要绕到芯片边缘再走PCB板直接垂直穿透距离缩短到微米级。实现3D堆叠有几个关键步骤。首先是晶圆减薄把每层芯片的硅片磨到几十微米厚这样才能叠得起来。然后是TSV刻蚀和填充在硅片上打出垂直孔洞填入铜等导电材料。接着是键合把两层芯片对准、压合、加热让TSV连接起来。最后是封装把叠好的芯片封装保护起来。我在展台上看到一家厂商的3D堆叠样品他们把一块逻辑芯片和一块存储芯片叠在一起中间用密密麻麻的TSV连接。工作人员说他们的TSV密度做到了每平方毫米一万个以上带宽比传统方案提升了8倍。这个数字如果放到实际应用中意味着大模型推理的延迟可以大幅降低。5.2 3D堆叠的散热和良率问题怎么解决3D堆叠虽然好但有两个大坑散热和良率。先说散热。芯片叠起来之后热量也叠起来了。中间层的芯片被上下夹着热量散不出去温度会很高。温度一高芯片就降频性能就下来了。所以3D堆叠方案必须解决散热问题。常见的散热方案有几种。一种是在层间插入导热材料把热量横向传导到边缘再散出去。另一种是在芯片背面做微流道让冷却液直接流过芯片表面。还有一种是优化功耗分布把高功耗单元分散到不同层避免热量集中。我在展台上看到一家厂商用了微流道方案他们说可以把结温控制在85度以下但成本也上去了。再说良率。3D堆叠是多个芯片叠在一起任何一层有问题整个堆叠就废了。所以良率是乘法关系假设每层良率是95%叠四层之后整体良率就降到81%。这对成本影响很大。解决办法一个是提高每层良率另一个是采用“已知良好芯片”策略每层芯片先测试再堆叠。还有一种是冗余设计多放一些TSV坏掉几个不影响整体功能。5.3 3D堆叠对开发者的实际影响你可能会问3D堆叠是芯片厂商的事跟我一个开发者有什么关系关系很大。因为3D堆叠会改变芯片的编程模型和性能特征。传统芯片的内存访问延迟是相对固定的但3D堆叠芯片的内存访问延迟可能跟数据在哪个层有关。如果你不了解这个特性写出来的代码可能性能很差。举个例子如果计算单元在第一层内存在第二层那访问第二层内存的延迟就比访问第一层内存高。好的编程模型应该尽量让计算和数据在同一层或者至少让频繁访问的数据放在离计算单元近的层。这需要开发者对芯片的物理结构有一定了解。另外3D堆叠芯片的带宽虽然高但延迟可能不是均匀的。有些访问模式能充分利用带宽有些则不能。我在峰会上听到一个团队分享经验他们通过调整数据布局把推理性能提升了30%。所以如果你用的是3D堆叠芯片一定要花时间研究它的内存访问特性不要想当然地写代码。6. 常见问题与排查技巧实录6.1 大模型推理延迟高怎么排查这是我在峰会上被问得最多的问题。大模型推理延迟高原因可能有很多排查思路要系统化。我整理了一个排查顺序从最常见的原因开始。排查项可能原因检查方法解决方向内存带宽带宽不足导致计算单元等数据用性能分析工具看内存利用率换更高带宽芯片或优化数据布局量化策略精度太高导致计算量大检查是否用了FP16而非INT8调整量化策略敏感层保持高精度批处理大小批太小导致计算单元利用率低看计算单元利用率指标增大批处理大小但注意延迟要求算子实现某些算子回退到CPU看算子执行时间分布换支持该算子的芯片或框架内存分配频繁分配释放导致开销看内存分配调用次数用内存池或预分配策略我自己的经验是大部分延迟问题都出在内存带宽和量化策略上。先查这两个基本能解决80%的问题。如果还不行再看算子实现和内存分配。6.2 智能体运行不稳定的排查思路智能体运行不稳定表现可能是响应时间忽长忽短、偶尔崩溃、结果不一致。这类问题排查起来比较麻烦因为涉及的因素多。我一般按这个顺序查。先看内存泄漏。智能体长时间运行如果内存只增不减那肯定是泄漏了。用内存监控工具看内存曲线如果呈锯齿状上升那就是泄漏。常见原因是对话历史没有清理、工具调用结果没有释放、缓存没有淘汰策略。再看并发冲突。智能体可能同时处理多个请求如果共享状态没有加锁就会出现数据竞争。表现是结果不一致或者偶尔崩溃。解决办法是给共享状态加锁或者用无状态设计每个请求独立处理。然后看外部依赖。智能体经常要调用外部API或者数据库如果外部依赖不稳定智能体也会不稳定。解决办法是加超时和重试机制外部依赖挂了要有降级方案。最后看芯片过热降频。如果智能体跑在边缘设备上长时间高负载可能导致芯片过热降频性能就下来了。用温度监控工具看芯片温度如果接近阈值就要优化散热或者降低负载。6.3 3D堆叠芯片的编程避坑清单如果你开始用3D堆叠芯片做开发有几个坑我提前给你标出来。第一不要假设内存访问延迟是均匀的。3D堆叠芯片不同层的内存访问延迟可能不同写代码的时候要尽量让计算和数据在同一层。如果你不确定数据在哪层用性能分析工具查一下。第二注意TSV带宽的利用。TSV带宽虽然高但如果你访问模式不对可能用不满。比如随机访问小数据块带宽利用率就很低。尽量用连续访问大数据块把带宽吃满。第三散热设计要提前考虑。3D堆叠芯片发热集中如果你的设备散热设计不好芯片会降频。做结构设计的时候就要把散热路径规划好不要等芯片装上去才发现散热不够。第四良率问题会影响供货。3D堆叠芯片良率相对低可能导致供货不稳定。如果你做产品规划要考虑到这个风险提前备货或者准备替代方案。7. 我在峰会现场看到的几个有意思的落地案例7.1 工业质检智能体的芯片方案我在一个工业AI展台看到一个质检智能体的演示。产线上有摄像头实时拍摄产品图像智能体分析图像判断有没有缺陷如果有缺陷就通知机械臂剔除。整个流程要求延迟在50毫秒以内因为产线速度很快延迟高了就来不及剔除。他们用的芯片方案是一块边缘AI加速卡功耗25W算力大概是20TOPS。工作人员说他们选芯片的时候最看重的是确定性延迟就是每次推理的时间要稳定不能忽快忽慢。因为产线节拍是固定的如果推理时间波动大就会打乱节拍。他们最后选的芯片有硬件调度器能保证推理时间在±5%以内波动。这个案例让我意识到工业场景对芯片的要求跟消费场景完全不同。消费场景可以容忍偶尔卡顿工业场景不行。所以如果你做工业智能体选芯片的时候一定要看确定性延迟指标不能只看平均延迟。7.2 服装检测的云边协同方案服装检测是另一个有意思的案例。一家做服装AI的公司展示了他们的方案产线上用边缘芯片做初步检测把可疑图片上传到云端做精细检测。边缘芯片负责快速筛选云端负责高精度判断。他们用的边缘芯片是一块低功耗SoC功耗只有5W算力大概5TOPS。工作人员说边缘端不需要太高的算力因为大部分图片都是正常的边缘端只要能快速筛掉正常图片就行。真正需要精细判断的图片不到5%上传到云端处理云端可以用大模型做更复杂的分析。这个方案的好处是成本低、延迟可控。边缘端芯片便宜、功耗低云端只在必要时才用。对于大规模产线来说这个方案比全部上云端或者全部上边缘都划算。我问他边缘端用的什么模型他说是一个轻量化的检测模型参数量只有几百万跑在INT8精度下。7.3 本地部署大模型的个人电脑方案峰会上还有一个展台展示了在个人电脑上本地部署大模型的方案。用的是一块集成了NPU的处理器配合32GB内存可以跑13B参数的模型推理速度大概是每秒10个token。工作人员演示了本地运行的智能体可以回答问题、写代码、分析文档全程不联网。这个方案的意义在于隐私和延迟。数据不出本地隐私有保障不依赖网络延迟稳定。适合对隐私要求高的场景比如法律、医疗、金融。工作人员说他们优化了内存管理让模型参数常驻内存避免每次推理都重新加载。另外他们还做了算子融合把多个小算子合并成一个大算子减少内核启动开销。我试了一下他们的演示响应速度确实可以接受日常对话基本感觉不到延迟。但跑复杂任务的时候还是有点慢比如让它分析一份长文档要等好几秒。工作人员说这是本地部署的固有局限算力和内存带宽都比不上云端。但对于很多场景来说这个性能已经够用了。8. 从上海峰会看AI芯片下一步的几个判断8.1 推理芯片会越来越像“专用集成电路”我在峰会上跟好几个芯片架构师聊大家有一个共识通用AI芯片的时代正在过去专用推理芯片的时代正在到来。为什么因为通用芯片为了兼容各种模型和框架做了很多冗余设计这些冗余在特定场景下就是浪费。专用芯片可以针对特定模型结构、特定精度、特定批处理大小做优化能效比可以做到通用芯片的好几倍。这个趋势对开发者的影响是你以后选芯片不能只看“支持什么框架”还要看“针对什么场景优化”。比如你做智能体就要选针对智能体工作流优化的芯片你做工业质检就要选针对视觉推理优化的芯片。通用芯片可能什么都能跑但什么都跑不到最好。8.2 3D堆叠会从高端走向主流3D堆叠现在主要还是用在高端芯片上因为成本高、良率低。但我判断未来两年会逐步走向主流。原因有两个一是传统芯片微缩越来越难3D堆叠是绕开物理极限的可行路径二是随着大模型普及内存带宽需求越来越大3D堆叠是解决带宽瓶颈的最直接方案。当3D堆叠成本降下来之后中端芯片也会开始用。到时候开发者选芯片的时候内存带宽这个指标会变得更重要。因为3D堆叠把带宽做上去了计算单元反而可能成为瓶颈。所以未来的优化重点可能会从“减少内存访问”转向“提高计算效率”。8.3 智能体会推动芯片架构的异构化智能体的工作流是多样化的单一计算单元很难高效处理所有任务。所以未来的AI芯片一定会往异构化方向发展把CPU、GPU、NPU、DSP甚至专用加速器集成在一起让不同任务跑在不同单元上。这对开发者提出了新要求你需要了解不同计算单元的特性知道什么任务该放到什么单元上跑。我在峰会上看到一家厂商的芯片方案他们把智能体的不同步骤映射到了不同计算单元意图理解跑在NPU上向量检索跑在专用加速器上工具调用跑在CPU上生成跑在GPU上。整个流程的延迟比全部跑在GPU上降低了60%。这个案例说明异构计算不是概念是已经在落地的方案。最后分享一个我在展台上听到的小技巧如果你在做智能体开发选芯片的时候一定要问厂商要端到端延迟数据不要只看单次推理延迟。因为智能体是多步骤的单次推理快不代表整体快。端到端延迟才是用户真正感知到的延迟。这个指标很多厂商不会主动提供但你可以要求他们跑一个完整的智能体工作流来测。