1. 从一颗芯片的诞生说起为什么2023年成了AI芯片的分水岭如果你在2023年之前关注过AI芯片大概率会有一种“雷声大雨点小”的感觉——概念满天飞但真正落到手里能用的东西不多。可到了2023年情况完全变了。大模型训练和推理的需求像洪水一样涌来直接把AI芯片从“未来科技”拽进了“现货抢购”的阶段。我身边不少做算法和硬件的朋友那一年最常聊的话题就是卡从哪来、功耗怎么压、推理延迟怎么降。所谓AI芯片说白了就是专门为人工智能计算任务设计的处理器。它和通用CPU最大的区别在于CPU像是一个什么都会一点的“全科医生”而AI芯片更像是一个只做某一类手术的“专科大夫”——在矩阵乘法、卷积运算、张量处理这些特定任务上它的效率可以高出几十倍甚至上百倍。2023年这个行业之所以“飞速发展、产品更新快”核心驱动力就一个大模型参数量从亿级跳到千亿级传统的通用算力根本喂不饱。这篇文章适合谁看如果你是刚入行的算法工程师想搞清楚自己跑的模型到底跑在什么硬件上如果你是硬件产品经理需要快速摸清行业格局和重点企业的打法或者你只是对“AI芯片”这个词频繁上热搜感到好奇想弄明白它到底在热闹什么——那这篇内容就是为你准备的。我会从行业格局、技术路线、重点企业、选型逻辑、实操踩坑这几个角度把2023年AI芯片行业的那点事掰开揉碎讲清楚。2. 2023年AI芯片行业格局不是三分天下而是五路诸侯2.1 通用GPU阵营英伟达的“一家独大”与挑战者的缝隙2023年AI芯片行业最不能回避的事实就是英伟达在训练市场的统治地位。它的H100、A100系列几乎成了大模型训练的“标准配置”。为什么因为CUDA生态。这就像你开了一家餐馆所有厨师都只会用某一套厨具换厨具的成本高到离谱。英伟达从2006年就开始铺CUDA十几年下来全球绝大多数AI框架、算子库、调优工具都是围绕CUDA写的。你换一块别的卡不是插上就能跑得重新适配、重新调优这个迁移成本是很多团队扛不住的。但2023年也出现了一个明显变化挑战者不再只是“喊口号”而是真的拿出了能跑的东西。AMD的MI300系列在2023年底开始批量出货虽然软件生态还有差距但在某些推理场景下性价比已经能打。更关键的是大客户开始有意识地“多源采购”——不是要立刻替换英伟达而是给自己留一条后路。我认识的一个做云端推理的团队2023年下半年的策略就是训练继续用英伟达推理逐步往其他平台迁移哪怕性能打八折只要成本降三成这笔账就算得过来。这里有个容易被忽略的细节通用GPU阵营的竞争2023年已经从“拼峰值算力”转向“拼有效算力”。什么意思一块卡标称算力再高如果实际跑模型时因为显存带宽不够、互联速度慢、软件调度差利用率只有30%那有效算力就大打折扣。英伟达的护城河不只是芯片本身还有NVLink、NVSwitch这套互联方案以及DGX这种整机交付能力。挑战者要追追的不是单点是整个系统。2.2 专用ASIC阵营云厂商的“自研算力”逻辑2023年另一个显著趋势是云厂商自研芯片的加速。谷歌的TPU已经迭代到v5e亚马逊有Trainium和Inferentia微软也发布了Maia系列。这些芯片不对外卖只给自己的云服务用。为什么云厂商要干这件事两个原因一是成本二是差异化。成本好理解。云厂商买英伟达的卡再租给客户中间利润被压缩得很厉害。自研芯片虽然前期投入大但一旦跑通单位算力成本可以降很多。更关键的是自研芯片可以根据自己的业务场景做定制优化。比如谷歌的TPU从一开始就是为TensorFlow设计的在自家搜索、广告、翻译这些业务上跑起来效率极高。差异化则是另一个维度。云厂商卖的不只是算力还有配套的框架、工具链、模型库。你用我的云用我的芯片用我的框架整个开发体验是打通的。这种“软硬一体”的绑定对中小客户很有吸引力。2023年我试过某云厂商的推理服务从模型上传到部署上线全程图形化操作底层用的就是他们自研的推理芯片延迟比通用方案低不少价格也便宜。这种体验单纯卖卡的厂商给不了。2.3 国内AI芯片企业从“替代”到“差异化竞争”国内AI芯片企业在2023年的关键词是“落地”。前几年大家还在讲“替代”2023年更多是在讲“在哪些场景下我能做得更好”。比如寒武纪的思元系列在智能驾驶和边缘计算场景有专门优化燧原科技聚焦云端训练和推理推出了邃思系列壁仞科技、摩尔线程这些新锐也在2023年拿出了量产产品。但国内企业面临的挑战也很现实。首先是软件生态CUDA的护城河不是一天挖成的国内厂商普遍在推自己的编程框架和算子库但开发者迁移意愿是个大问题。其次是制造工艺先进制程的获取难度在2023年进一步加大这直接影响了芯片的能效比和成本。我了解到的一些团队2023年的策略是“先在中低端场景站稳再往高端攻”——比如先做推理卡因为推理对生态依赖相对小客户更看重性价比和稳定性。2.4 边缘与端侧AI芯片被低估的“第二战场”2023年大家都在盯着云端训练卡但边缘和端侧AI芯片其实是一个被低估的战场。智能汽车、安防摄像头、工业质检、智能家居这些场景对AI芯片的需求是“低功耗、低延迟、低成本”。地平线的征程系列在2023年出货量很大黑芝麻智能、芯驰科技也在快速跟进。端侧芯片的逻辑和云端完全不同。云端可以堆功耗、堆散热端侧不行。一颗车载AI芯片功耗可能只有几瓦到几十瓦还要在高温、震动环境下稳定工作。这对芯片设计的要求极高。我参与过一个智能座舱项目选型时最头疼的不是算力不够而是功耗和散热压不住。后来换了一颗专门为座舱场景优化的芯片虽然峰值算力低一些但实际体验反而更好因为它的调度策略更贴合座舱的多任务并发场景。2.5 2023年行业格局的“变”与“不变”把上面几条线串起来看2023年AI芯片行业格局有几个“变”和“不变”。变的是挑战者从“PPT阶段”进入“量产阶段”云厂商自研芯片从“试水”变成“主力”国内企业在特定场景开始有话语权。不变的是英伟达在训练市场的统治地位依然稳固CUDA生态的惯性依然强大先进制程的获取依然是核心竞争力。阵营代表企业2023年核心动作主要挑战通用GPU英伟达、AMDH100放量、MI300出货供应链紧张、价格高云厂商自研谷歌、亚马逊、微软TPU v5e、Trainium2、Maia生态封闭、外部客户少国内AI芯片寒武纪、燧原、壁仞量产落地、场景优化软件生态、制程限制边缘端侧地平线、黑芝麻车载前装量产功耗散热、车规认证这张表不是让你背的而是帮你建立一个判断框架。下次看到某家AI芯片公司的新闻你可以先问它属于哪个阵营它的核心场景是什么它的生态策略是开放还是封闭这三个问题一问基本就能判断它的位置和前景。3. 产品更新快的背后技术路线与迭代逻辑3.1 为什么AI芯片的迭代速度比传统芯片快这么多传统CPU的迭代周期大概是18到24个月一代产品出来能用好几年。但AI芯片不一样2023年很多厂商的迭代周期压缩到了12个月甚至更短。为什么因为算法在变。2023年大模型架构从Transformer一家独大到MoE、混合专家、稀疏化等各种变体层出不穷。芯片设计如果跟不上算法变化很快就会被淘汰。这就像你开了一家鞋厂以前人们穿鞋款式几年不变你可以慢慢设计。现在突然流行“每个月换一款”你的设计周期必须压缩否则做出来的鞋没人买。AI芯片厂商2023年普遍采用的策略是“架构可编程”——芯片的底层计算单元保持相对固定但通过软件和固件更新来适配新算法。这样硬件不用频繁流片软件可以快速迭代。3.2 训练芯片与推理芯片的分化2023年一个很重要的趋势是训练芯片和推理芯片的分化越来越明显。训练芯片追求的是极致算力和高精度FP32、TF32因为训练过程需要大量矩阵运算和梯度更新。推理芯片则更看重能效比和低延迟精度可以降到FP16、INT8甚至INT4。这个分化直接影响了产品设计。训练芯片通常功耗很高需要复杂的散热方案比如液冷。推理芯片则尽量做小做省电很多边缘推理芯片功耗只有几瓦。我见过一个团队训练用A100集群推理用自研的INT8加速卡整体成本比全用A100降了将近一半。他们的逻辑很简单训练是一次性的贵就贵点推理是每天都要跑的省下来的电费和卡钱是实打实的。3.3 Chiplet与先进封装2023年的“续命”方案2023年先进制程的获取难度加大Chiplet芯粒和先进封装成了热门话题。简单说Chiplet就是把一个大芯片拆成几个小芯片分别用不同工艺制造再通过先进封装拼在一起。这样既能绕过单芯片面积限制又能混合使用不同制程降低成本。AMD的MI300就是Chiplet的典型代表。它把计算芯粒和缓存芯粒分开制造再用3D堆叠封装在一起。这种方案的好处是灵活可以根据不同产品定位搭配不同的芯粒组合。国内一些厂商也在跟进Chiplet路线但挑战在于先进封装产能同样紧张而且设计复杂度更高。我个人的判断是Chiplet在2023年还处于“早期采用者”阶段真正大规模普及可能还需要一两年。3.4 软件栈比芯片本身更重要的“隐形战场”2023年我越来越深刻地感受到一件事AI芯片的竞争一半在硬件一半在软件。一块芯片算力再强如果软件栈不好用开发者不愿意用那它就是一块废铁。英伟达的CUDA之所以难被替代就是因为上面沉淀了太多算子库、调优工具、社区资源。国内厂商2023年在软件栈上投入很大。有的推自己的编程语言有的做CUDA代码自动迁移工具有的和框架厂商深度合作做适配。但说实话软件生态的建立需要时间不是一年两年能追上的。我试过用某国产芯片跑一个常见的视觉模型硬件指标看起来不错但实际部署时发现某些算子不支持得自己写调优工具也不够完善最后项目进度被拖了将近一个月。这个教训告诉我选型时一定要先跑通自己的模型别只看纸面参数。4. 重点企业拆解谁在2023年真正跑出来了4.1 英伟达不是没有弱点而是弱点被生态掩盖了英伟达2023年的表现可以用“一骑绝尘”来形容但也不是没有隐忧。首先是产能台积电的CoWoS先进封装产能严重不足导致H100交货周期一度长达半年以上。其次是价格一块H100的官方售价加上整机配套轻松超过20万人民币很多中小团队根本买不起。第三是功耗H100的TDP高达700瓦一个机柜的散热和供电改造就是一笔巨大开销。但英伟达的应对也很聪明。2023年它推出了H800、L40S等针对不同市场的产品还加大了云服务合作让买不起卡的小团队可以按需租用。更关键的是英伟达在软件上的持续投入让它的护城河越来越深。CUDA 12、TensorRT-LLM这些工具链的更新让开发者越来越离不开它。我的判断是2023年英伟达的统治地位没有被撼动但挑战者的缝隙确实在变大。4.2 AMDMI300的“性价比突围”AMD在2023年最大的动作就是MI300系列的发布。这款芯片在纸面参数上对标英伟达的H100但价格更有竞争力。更重要的是AMD在2023年加大了软件投入ROCm生态的成熟度比前几年好了不少。我认识的一个做科学计算的团队2023年把部分负载从英伟达迁到了AMD原因是他们的代码主要用OpenMP和HIP迁移成本相对低而AMD的显存容量更大跑某些大模型更划算。但AMD的挑战也很明显。ROCm的算子覆盖度还是不如CUDA很多AI框架的新特性都是先在CUDA上支持。而且AMD的互联方案在超大规模集群下不如NVLink成熟。所以2023年AMD的客户主要集中在“单机多卡”或“中小规模集群”场景超大集群还是英伟达的天下。4.3 国内重点企业寒武纪、燧原、壁仞的差异化路径寒武纪2023年的重点是“云边端一体”。它的思元系列覆盖了云端训练、云端推理和边缘推理产品线比较全。2023年寒武纪在智能驾驶和智慧城市场景有不少落地案例。燧原则聚焦云端训练和推理邃思系列在2023年迭代到了新一代主打“高能效比”。壁仞科技在2023年拿出了BR100系列纸面算力很高但软件生态和量产能力还需要时间验证。这几家企业的共同点是都在努力做软件栈都在找英伟达覆盖不到或不愿意覆盖的场景。比如某些对数据安全要求高的行业客户更倾向于用国产芯片某些定制化程度高的场景国产厂商可以做到更贴身的优化。我个人的观察是2023年国内AI芯片企业已经从“能不能做出来”进入“能不能卖出去”的阶段接下来拼的是落地能力和服务能力。4.4 边缘侧的地平线与黑芝麻车载场景的“慢功夫”地平线和黑芝麻智能在2023年的表现值得单独说。车载AI芯片的门槛极高车规认证、功能安全、长周期供货每一项都是硬骨头。地平线的征程5在2023年实现了大规模前装量产黑芝麻的华山系列也在多个车型上落地。车载芯片的逻辑和消费级芯片完全不同。消费级芯片追求“快”一年一迭代车载芯片追求“稳”一款芯片可能要供货五年以上。所以车载芯片厂商的竞争不是比谁跑得快而是比谁活得久、服务好。我了解到的一个细节是地平线在2023年把大量精力放在工具链和算法适配上面让车企和Tier1能更快地把自己的算法部署到征程芯片上。这种“陪跑”式的服务是车载芯片厂商的核心竞争力。5. 选型与落地来自一线的实操经验5.1 先搞清楚你的场景是训练还是推理很多团队在选型时容易犯一个错误把训练和推理混为一谈。训练对算力、精度、互联的要求极高推理对能效比、延迟、成本更敏感。如果你主要做推理却买了一堆训练卡那就是用高射炮打蚊子成本高得离谱。我的建议是先把你的业务拆开训练任务有多少推理任务有多少各自的QPS和延迟要求是什么。然后分别选型。训练可以租云服务按需使用推理如果量大且稳定可以考虑自建或买推理专用卡。2023年很多厂商都推出了推理专用产品比如英伟达的L40S、AMD的MI300X推理版性价比比通用训练卡好很多。5.2 软件栈的“试跑”比参数表更重要参数表上的算力数字很好看但实际跑起来能不能达到取决于软件栈。我建议在选型时一定要做“试跑”拿你自己的模型在目标芯片上跑一遍看实际吞吐、延迟、精度损失。别只看厂商给的Benchmark那些都是优化过的理想情况。试跑时重点关注几个指标算子覆盖率你的模型里有多少算子是被原生支持的、调优工具是否好用、社区资源是否丰富、遇到问题能不能快速找到解决方案。我见过一个团队选了一款纸面参数很漂亮的芯片结果部署时发现某个关键算子不支持自己写了一个性能只有原生实现的十分之一整个项目差点黄了。5.3 功耗和散热容易被忽略的“隐性成本”2023年AI芯片的功耗越来越高H100单卡700瓦一个8卡服务器就是5600瓦加上CPU、内存、网络整机功耗轻松超过7千瓦。这意味着你的机房供电、散热、机柜布局都要重新设计。很多团队在预算时只算了芯片的钱没算配套改造的钱结果卡到了发现电不够、散热压不住。我的经验是在选型阶段就把功耗和散热纳入评估。如果功耗超过一定阈值液冷可能是必须的。液冷方案的成本比风冷高不少但散热效率也高很多。另外高功耗芯片对电源质量要求也高电压波动可能导致训练中断。这些细节厂商的销售通常不会主动告诉你得自己问。5.4 供应链与长期供货别只看眼前2023年AI芯片供应链紧张是常态。H100交货周期长国产芯片的产能也有限。选型时不能只看当前能不能买到还要看未来一年、两年能不能持续供货。特别是车载、工业这类长周期场景芯片厂商的长期供货能力比短期性能更重要。我建议在选型时问厂商几个问题这款芯片的规划生命周期是多久有没有Pin-to-Pin兼容的升级型号如果这款停产了替代方案是什么这些问题听起来很“采购”但实际落地时非常关键。我见过一个项目芯片用了两年突然停产重新选型、重新适配、重新认证整个团队被拖了半年。6. 那些年我踩过的坑AI芯片落地的真实教训6.1 迷信峰值算力忽略了实际利用率这是我早期踩过的最大的坑。选型时只看TFLOPS数字觉得越高越好。结果实际跑模型时发现利用率只有20%到30%。为什么因为显存带宽不够数据喂不进去或者互联速度慢多卡并行效率低或者软件调度差计算单元经常空转。后来我学乖了选型时先看“有效算力”也就是在实际模型上的吞吐量。这个数字通常比峰值算力低很多但它是真实的。怎么测拿你的模型跑一遍看每秒能处理多少样本看延迟是多少。别信厂商的PPT信你自己的测试结果。6.2 忽视软件迁移成本导致项目延期有一次我们选了一款新芯片硬件指标很好价格也便宜。但迁移模型时发现很多算子需要重写调优工具也不完善。原本计划两周完成的部署拖了将近两个月。这两个月里团队的人力成本、机会成本远远超过了芯片省下来的钱。这个教训让我明白软件生态的价值不能用钱衡量。CUDA之所以难被替代就是因为上面沉淀了太多“省时间”的东西。选型时如果软件栈不成熟要么预留足够的迁移时间要么干脆别选。6.3 功耗估算不足机房改造超预算还有一次我们买了一台8卡训练服务器功耗远超预期。机房原来的供电线路扛不住得重新拉线散热也不够得加装空调。这些改造费用加起来比服务器本身还贵。更麻烦的是改造期间设备没法上架项目进度被耽误了。从那以后我在选型时一定会算“总拥有成本”芯片价格、服务器价格、机房改造成本、电费、运维成本全部加起来再比较。有时候芯片便宜但配套成本高总体算下来反而更贵。6.4 忽略长期供货导致产品断档这个坑我在一个边缘计算项目里踩过。选了一款小众芯片性能不错价格也合适。但用了不到两年厂商宣布停产替代型号不兼容整个产品线被迫重新设计。那段时间客户投诉、渠道压货、研发返工各种问题一起爆发。现在我的原则是优先选大厂的主流产品或者至少有明确长期供货承诺的产品。小众芯片不是不能用但一定要有Plan B。最好在选型时就问清楚这款芯片的生命周期是多久有没有兼容的升级路径如果停产厂商能不能保证最后一批供货7. 2023年之后AI芯片行业还能怎么走2023年只是一个开始。大模型从训练走向推理从云端走向端侧这个趋势在2024年会更明显。训练芯片的竞争会继续围绕英伟达展开但推理芯片的战场会更加分散。云厂商自研芯片会进一步挤压通用芯片的市场空间国内企业会在特定场景找到更多机会。对于从业者来说我的建议是别只盯着芯片本身多看软件栈、多看生态、多看落地场景。芯片是工具工具的价值在于解决问题。谁能把工具用好谁就能在下一轮竞争中占得先机。最后分享一个我自己的习惯每次选型前先列一个“必须满足”和“最好满足”的清单。必须满足的是硬指标比如算力下限、功耗上限、软件兼容性最好满足的是加分项比如价格优惠、技术支持好、社区活跃。然后拿这个清单去套候选方案能过滤掉大部分不合适的选项。这个方法帮我省了很多时间也避免了不少冲动决策。 
长河君 · 2026/10/25 20:59:26 · 阅读 1.2k 2023年AI芯片行业格局与选型实战：从技术路线到落地踩坑
1. 从一颗芯片的诞生说起为什么2023年成了AI芯片的分水岭如果你在2023年之前关注过AI芯片大概率会有一种“雷声大雨点小”的感觉——概念满天飞但真正落到手里能用的东西不多。可到了2023年情况完全变了。大模型训练和推理的需求像洪水一样涌来直接把AI芯片从“未来科技”拽进了“现货抢购”的阶段。我身边不少做算法和硬件的朋友那一年最常聊的话题就是卡从哪来、功耗怎么压、推理延迟怎么降。所谓AI芯片说白了就是专门为人工智能计算任务设计的处理器。它和通用CPU最大的区别在于CPU像是一个什么都会一点的“全科医生”而AI芯片更像是一个只做某一类手术的“专科大夫”——在矩阵乘法、卷积运算、张量处理这些特定任务上它的效率可以高出几十倍甚至上百倍。2023年这个行业之所以“飞速发展、产品更新快”核心驱动力就一个大模型参数量从亿级跳到千亿级传统的通用算力根本喂不饱。这篇文章适合谁看如果你是刚入行的算法工程师想搞清楚自己跑的模型到底跑在什么硬件上如果你是硬件产品经理需要快速摸清行业格局和重点企业的打法或者你只是对“AI芯片”这个词频繁上热搜感到好奇想弄明白它到底在热闹什么——那这篇内容就是为你准备的。我会从行业格局、技术路线、重点企业、选型逻辑、实操踩坑这几个角度把2023年AI芯片行业的那点事掰开揉碎讲清楚。2. 2023年AI芯片行业格局不是三分天下而是五路诸侯2.1 通用GPU阵营英伟达的“一家独大”与挑战者的缝隙2023年AI芯片行业最不能回避的事实就是英伟达在训练市场的统治地位。它的H100、A100系列几乎成了大模型训练的“标准配置”。为什么因为CUDA生态。这就像你开了一家餐馆所有厨师都只会用某一套厨具换厨具的成本高到离谱。英伟达从2006年就开始铺CUDA十几年下来全球绝大多数AI框架、算子库、调优工具都是围绕CUDA写的。你换一块别的卡不是插上就能跑得重新适配、重新调优这个迁移成本是很多团队扛不住的。但2023年也出现了一个明显变化挑战者不再只是“喊口号”而是真的拿出了能跑的东西。AMD的MI300系列在2023年底开始批量出货虽然软件生态还有差距但在某些推理场景下性价比已经能打。更关键的是大客户开始有意识地“多源采购”——不是要立刻替换英伟达而是给自己留一条后路。我认识的一个做云端推理的团队2023年下半年的策略就是训练继续用英伟达推理逐步往其他平台迁移哪怕性能打八折只要成本降三成这笔账就算得过来。这里有个容易被忽略的细节通用GPU阵营的竞争2023年已经从“拼峰值算力”转向“拼有效算力”。什么意思一块卡标称算力再高如果实际跑模型时因为显存带宽不够、互联速度慢、软件调度差利用率只有30%那有效算力就大打折扣。英伟达的护城河不只是芯片本身还有NVLink、NVSwitch这套互联方案以及DGX这种整机交付能力。挑战者要追追的不是单点是整个系统。2.2 专用ASIC阵营云厂商的“自研算力”逻辑2023年另一个显著趋势是云厂商自研芯片的加速。谷歌的TPU已经迭代到v5e亚马逊有Trainium和Inferentia微软也发布了Maia系列。这些芯片不对外卖只给自己的云服务用。为什么云厂商要干这件事两个原因一是成本二是差异化。成本好理解。云厂商买英伟达的卡再租给客户中间利润被压缩得很厉害。自研芯片虽然前期投入大但一旦跑通单位算力成本可以降很多。更关键的是自研芯片可以根据自己的业务场景做定制优化。比如谷歌的TPU从一开始就是为TensorFlow设计的在自家搜索、广告、翻译这些业务上跑起来效率极高。差异化则是另一个维度。云厂商卖的不只是算力还有配套的框架、工具链、模型库。你用我的云用我的芯片用我的框架整个开发体验是打通的。这种“软硬一体”的绑定对中小客户很有吸引力。2023年我试过某云厂商的推理服务从模型上传到部署上线全程图形化操作底层用的就是他们自研的推理芯片延迟比通用方案低不少价格也便宜。这种体验单纯卖卡的厂商给不了。2.3 国内AI芯片企业从“替代”到“差异化竞争”国内AI芯片企业在2023年的关键词是“落地”。前几年大家还在讲“替代”2023年更多是在讲“在哪些场景下我能做得更好”。比如寒武纪的思元系列在智能驾驶和边缘计算场景有专门优化燧原科技聚焦云端训练和推理推出了邃思系列壁仞科技、摩尔线程这些新锐也在2023年拿出了量产产品。但国内企业面临的挑战也很现实。首先是软件生态CUDA的护城河不是一天挖成的国内厂商普遍在推自己的编程框架和算子库但开发者迁移意愿是个大问题。其次是制造工艺先进制程的获取难度在2023年进一步加大这直接影响了芯片的能效比和成本。我了解到的一些团队2023年的策略是“先在中低端场景站稳再往高端攻”——比如先做推理卡因为推理对生态依赖相对小客户更看重性价比和稳定性。2.4 边缘与端侧AI芯片被低估的“第二战场”2023年大家都在盯着云端训练卡但边缘和端侧AI芯片其实是一个被低估的战场。智能汽车、安防摄像头、工业质检、智能家居这些场景对AI芯片的需求是“低功耗、低延迟、低成本”。地平线的征程系列在2023年出货量很大黑芝麻智能、芯驰科技也在快速跟进。端侧芯片的逻辑和云端完全不同。云端可以堆功耗、堆散热端侧不行。一颗车载AI芯片功耗可能只有几瓦到几十瓦还要在高温、震动环境下稳定工作。这对芯片设计的要求极高。我参与过一个智能座舱项目选型时最头疼的不是算力不够而是功耗和散热压不住。后来换了一颗专门为座舱场景优化的芯片虽然峰值算力低一些但实际体验反而更好因为它的调度策略更贴合座舱的多任务并发场景。2.5 2023年行业格局的“变”与“不变”把上面几条线串起来看2023年AI芯片行业格局有几个“变”和“不变”。变的是挑战者从“PPT阶段”进入“量产阶段”云厂商自研芯片从“试水”变成“主力”国内企业在特定场景开始有话语权。不变的是英伟达在训练市场的统治地位依然稳固CUDA生态的惯性依然强大先进制程的获取依然是核心竞争力。阵营代表企业2023年核心动作主要挑战通用GPU英伟达、AMDH100放量、MI300出货供应链紧张、价格高云厂商自研谷歌、亚马逊、微软TPU v5e、Trainium2、Maia生态封闭、外部客户少国内AI芯片寒武纪、燧原、壁仞量产落地、场景优化软件生态、制程限制边缘端侧地平线、黑芝麻车载前装量产功耗散热、车规认证这张表不是让你背的而是帮你建立一个判断框架。下次看到某家AI芯片公司的新闻你可以先问它属于哪个阵营它的核心场景是什么它的生态策略是开放还是封闭这三个问题一问基本就能判断它的位置和前景。3. 产品更新快的背后技术路线与迭代逻辑3.1 为什么AI芯片的迭代速度比传统芯片快这么多传统CPU的迭代周期大概是18到24个月一代产品出来能用好几年。但AI芯片不一样2023年很多厂商的迭代周期压缩到了12个月甚至更短。为什么因为算法在变。2023年大模型架构从Transformer一家独大到MoE、混合专家、稀疏化等各种变体层出不穷。芯片设计如果跟不上算法变化很快就会被淘汰。这就像你开了一家鞋厂以前人们穿鞋款式几年不变你可以慢慢设计。现在突然流行“每个月换一款”你的设计周期必须压缩否则做出来的鞋没人买。AI芯片厂商2023年普遍采用的策略是“架构可编程”——芯片的底层计算单元保持相对固定但通过软件和固件更新来适配新算法。这样硬件不用频繁流片软件可以快速迭代。3.2 训练芯片与推理芯片的分化2023年一个很重要的趋势是训练芯片和推理芯片的分化越来越明显。训练芯片追求的是极致算力和高精度FP32、TF32因为训练过程需要大量矩阵运算和梯度更新。推理芯片则更看重能效比和低延迟精度可以降到FP16、INT8甚至INT4。这个分化直接影响了产品设计。训练芯片通常功耗很高需要复杂的散热方案比如液冷。推理芯片则尽量做小做省电很多边缘推理芯片功耗只有几瓦。我见过一个团队训练用A100集群推理用自研的INT8加速卡整体成本比全用A100降了将近一半。他们的逻辑很简单训练是一次性的贵就贵点推理是每天都要跑的省下来的电费和卡钱是实打实的。3.3 Chiplet与先进封装2023年的“续命”方案2023年先进制程的获取难度加大Chiplet芯粒和先进封装成了热门话题。简单说Chiplet就是把一个大芯片拆成几个小芯片分别用不同工艺制造再通过先进封装拼在一起。这样既能绕过单芯片面积限制又能混合使用不同制程降低成本。AMD的MI300就是Chiplet的典型代表。它把计算芯粒和缓存芯粒分开制造再用3D堆叠封装在一起。这种方案的好处是灵活可以根据不同产品定位搭配不同的芯粒组合。国内一些厂商也在跟进Chiplet路线但挑战在于先进封装产能同样紧张而且设计复杂度更高。我个人的判断是Chiplet在2023年还处于“早期采用者”阶段真正大规模普及可能还需要一两年。3.4 软件栈比芯片本身更重要的“隐形战场”2023年我越来越深刻地感受到一件事AI芯片的竞争一半在硬件一半在软件。一块芯片算力再强如果软件栈不好用开发者不愿意用那它就是一块废铁。英伟达的CUDA之所以难被替代就是因为上面沉淀了太多算子库、调优工具、社区资源。国内厂商2023年在软件栈上投入很大。有的推自己的编程语言有的做CUDA代码自动迁移工具有的和框架厂商深度合作做适配。但说实话软件生态的建立需要时间不是一年两年能追上的。我试过用某国产芯片跑一个常见的视觉模型硬件指标看起来不错但实际部署时发现某些算子不支持得自己写调优工具也不够完善最后项目进度被拖了将近一个月。这个教训告诉我选型时一定要先跑通自己的模型别只看纸面参数。4. 重点企业拆解谁在2023年真正跑出来了4.1 英伟达不是没有弱点而是弱点被生态掩盖了英伟达2023年的表现可以用“一骑绝尘”来形容但也不是没有隐忧。首先是产能台积电的CoWoS先进封装产能严重不足导致H100交货周期一度长达半年以上。其次是价格一块H100的官方售价加上整机配套轻松超过20万人民币很多中小团队根本买不起。第三是功耗H100的TDP高达700瓦一个机柜的散热和供电改造就是一笔巨大开销。但英伟达的应对也很聪明。2023年它推出了H800、L40S等针对不同市场的产品还加大了云服务合作让买不起卡的小团队可以按需租用。更关键的是英伟达在软件上的持续投入让它的护城河越来越深。CUDA 12、TensorRT-LLM这些工具链的更新让开发者越来越离不开它。我的判断是2023年英伟达的统治地位没有被撼动但挑战者的缝隙确实在变大。4.2 AMDMI300的“性价比突围”AMD在2023年最大的动作就是MI300系列的发布。这款芯片在纸面参数上对标英伟达的H100但价格更有竞争力。更重要的是AMD在2023年加大了软件投入ROCm生态的成熟度比前几年好了不少。我认识的一个做科学计算的团队2023年把部分负载从英伟达迁到了AMD原因是他们的代码主要用OpenMP和HIP迁移成本相对低而AMD的显存容量更大跑某些大模型更划算。但AMD的挑战也很明显。ROCm的算子覆盖度还是不如CUDA很多AI框架的新特性都是先在CUDA上支持。而且AMD的互联方案在超大规模集群下不如NVLink成熟。所以2023年AMD的客户主要集中在“单机多卡”或“中小规模集群”场景超大集群还是英伟达的天下。4.3 国内重点企业寒武纪、燧原、壁仞的差异化路径寒武纪2023年的重点是“云边端一体”。它的思元系列覆盖了云端训练、云端推理和边缘推理产品线比较全。2023年寒武纪在智能驾驶和智慧城市场景有不少落地案例。燧原则聚焦云端训练和推理邃思系列在2023年迭代到了新一代主打“高能效比”。壁仞科技在2023年拿出了BR100系列纸面算力很高但软件生态和量产能力还需要时间验证。这几家企业的共同点是都在努力做软件栈都在找英伟达覆盖不到或不愿意覆盖的场景。比如某些对数据安全要求高的行业客户更倾向于用国产芯片某些定制化程度高的场景国产厂商可以做到更贴身的优化。我个人的观察是2023年国内AI芯片企业已经从“能不能做出来”进入“能不能卖出去”的阶段接下来拼的是落地能力和服务能力。4.4 边缘侧的地平线与黑芝麻车载场景的“慢功夫”地平线和黑芝麻智能在2023年的表现值得单独说。车载AI芯片的门槛极高车规认证、功能安全、长周期供货每一项都是硬骨头。地平线的征程5在2023年实现了大规模前装量产黑芝麻的华山系列也在多个车型上落地。车载芯片的逻辑和消费级芯片完全不同。消费级芯片追求“快”一年一迭代车载芯片追求“稳”一款芯片可能要供货五年以上。所以车载芯片厂商的竞争不是比谁跑得快而是比谁活得久、服务好。我了解到的一个细节是地平线在2023年把大量精力放在工具链和算法适配上面让车企和Tier1能更快地把自己的算法部署到征程芯片上。这种“陪跑”式的服务是车载芯片厂商的核心竞争力。5. 选型与落地来自一线的实操经验5.1 先搞清楚你的场景是训练还是推理很多团队在选型时容易犯一个错误把训练和推理混为一谈。训练对算力、精度、互联的要求极高推理对能效比、延迟、成本更敏感。如果你主要做推理却买了一堆训练卡那就是用高射炮打蚊子成本高得离谱。我的建议是先把你的业务拆开训练任务有多少推理任务有多少各自的QPS和延迟要求是什么。然后分别选型。训练可以租云服务按需使用推理如果量大且稳定可以考虑自建或买推理专用卡。2023年很多厂商都推出了推理专用产品比如英伟达的L40S、AMD的MI300X推理版性价比比通用训练卡好很多。5.2 软件栈的“试跑”比参数表更重要参数表上的算力数字很好看但实际跑起来能不能达到取决于软件栈。我建议在选型时一定要做“试跑”拿你自己的模型在目标芯片上跑一遍看实际吞吐、延迟、精度损失。别只看厂商给的Benchmark那些都是优化过的理想情况。试跑时重点关注几个指标算子覆盖率你的模型里有多少算子是被原生支持的、调优工具是否好用、社区资源是否丰富、遇到问题能不能快速找到解决方案。我见过一个团队选了一款纸面参数很漂亮的芯片结果部署时发现某个关键算子不支持自己写了一个性能只有原生实现的十分之一整个项目差点黄了。5.3 功耗和散热容易被忽略的“隐性成本”2023年AI芯片的功耗越来越高H100单卡700瓦一个8卡服务器就是5600瓦加上CPU、内存、网络整机功耗轻松超过7千瓦。这意味着你的机房供电、散热、机柜布局都要重新设计。很多团队在预算时只算了芯片的钱没算配套改造的钱结果卡到了发现电不够、散热压不住。我的经验是在选型阶段就把功耗和散热纳入评估。如果功耗超过一定阈值液冷可能是必须的。液冷方案的成本比风冷高不少但散热效率也高很多。另外高功耗芯片对电源质量要求也高电压波动可能导致训练中断。这些细节厂商的销售通常不会主动告诉你得自己问。5.4 供应链与长期供货别只看眼前2023年AI芯片供应链紧张是常态。H100交货周期长国产芯片的产能也有限。选型时不能只看当前能不能买到还要看未来一年、两年能不能持续供货。特别是车载、工业这类长周期场景芯片厂商的长期供货能力比短期性能更重要。我建议在选型时问厂商几个问题这款芯片的规划生命周期是多久有没有Pin-to-Pin兼容的升级型号如果这款停产了替代方案是什么这些问题听起来很“采购”但实际落地时非常关键。我见过一个项目芯片用了两年突然停产重新选型、重新适配、重新认证整个团队被拖了半年。6. 那些年我踩过的坑AI芯片落地的真实教训6.1 迷信峰值算力忽略了实际利用率这是我早期踩过的最大的坑。选型时只看TFLOPS数字觉得越高越好。结果实际跑模型时发现利用率只有20%到30%。为什么因为显存带宽不够数据喂不进去或者互联速度慢多卡并行效率低或者软件调度差计算单元经常空转。后来我学乖了选型时先看“有效算力”也就是在实际模型上的吞吐量。这个数字通常比峰值算力低很多但它是真实的。怎么测拿你的模型跑一遍看每秒能处理多少样本看延迟是多少。别信厂商的PPT信你自己的测试结果。6.2 忽视软件迁移成本导致项目延期有一次我们选了一款新芯片硬件指标很好价格也便宜。但迁移模型时发现很多算子需要重写调优工具也不完善。原本计划两周完成的部署拖了将近两个月。这两个月里团队的人力成本、机会成本远远超过了芯片省下来的钱。这个教训让我明白软件生态的价值不能用钱衡量。CUDA之所以难被替代就是因为上面沉淀了太多“省时间”的东西。选型时如果软件栈不成熟要么预留足够的迁移时间要么干脆别选。6.3 功耗估算不足机房改造超预算还有一次我们买了一台8卡训练服务器功耗远超预期。机房原来的供电线路扛不住得重新拉线散热也不够得加装空调。这些改造费用加起来比服务器本身还贵。更麻烦的是改造期间设备没法上架项目进度被耽误了。从那以后我在选型时一定会算“总拥有成本”芯片价格、服务器价格、机房改造成本、电费、运维成本全部加起来再比较。有时候芯片便宜但配套成本高总体算下来反而更贵。6.4 忽略长期供货导致产品断档这个坑我在一个边缘计算项目里踩过。选了一款小众芯片性能不错价格也合适。但用了不到两年厂商宣布停产替代型号不兼容整个产品线被迫重新设计。那段时间客户投诉、渠道压货、研发返工各种问题一起爆发。现在我的原则是优先选大厂的主流产品或者至少有明确长期供货承诺的产品。小众芯片不是不能用但一定要有Plan B。最好在选型时就问清楚这款芯片的生命周期是多久有没有兼容的升级路径如果停产厂商能不能保证最后一批供货7. 2023年之后AI芯片行业还能怎么走2023年只是一个开始。大模型从训练走向推理从云端走向端侧这个趋势在2024年会更明显。训练芯片的竞争会继续围绕英伟达展开但推理芯片的战场会更加分散。云厂商自研芯片会进一步挤压通用芯片的市场空间国内企业会在特定场景找到更多机会。对于从业者来说我的建议是别只盯着芯片本身多看软件栈、多看生态、多看落地场景。芯片是工具工具的价值在于解决问题。谁能把工具用好谁就能在下一轮竞争中占得先机。最后分享一个我自己的习惯每次选型前先列一个“必须满足”和“最好满足”的清单。必须满足的是硬指标比如算力下限、功耗上限、软件兼容性最好满足的是加分项比如价格优惠、技术支持好、社区活跃。然后拿这个清单去套候选方案能过滤掉大部分不合适的选项。这个方法帮我省了很多时间也避免了不少冲动决策。