AI芯片内功心法大全：为什么没有一款芯片能通吃所有AI任务？

2026 年 3 月AI 教育者 Avi Chawla 在 X原 Twitter上发布了一条爆款帖子——一张非常硬核的“AI芯片内功心法图”。这张图正好解释了当代码比如大模型推理跑到最底层的硬件时不同的芯片内部到底是怎么干活的。1. CPU中央处理器全能的“大管家”图中特征Control控制单元很大有很多ALU算术逻辑单元但数量不多。有很深的L1/L2/L3 Cache最后才是DRAM。标注了Scalar SIMD (latency-optimized)。核心思想样样通样样松但绝不偏科通用性最强。内部逻辑CPU的核心是“控制单元”它擅长处理复杂的逻辑、分支判断比如if-else、操作系统调度。它只有几个强力核心每个核心都配了超多缓存Cache目的是减少访问慢速内存DRAM的次数追求低延迟。它不适合干重复的累活比如几十亿次乘法但擅长发号施令。在AI中的角色指挥官。负责调度GPU/TPU干活处理数据预处理和逻辑控制。2. GPU图形处理器疯狂的“搬砖工”图中特征SIMT Parallel Processing单指令多线程并行。有Streaming Multiprocessor流式多处理器里面有大量的CUDA Core。有L1/L2 Cache最后是GDDR/HBM。核心思想人多力量大简单重复的工作我来。内部逻辑GPU把几千个简单的核心CUDA Core塞进芯片。它们不像CPU那样各自为战而是听同一个指令SIMT同时算不同的数据。它是为图形渲染画三角形和深度学习矩阵乘法量身定制的。它有高带宽内存HBM但依然依赖片外内存调度开销相对较大。在AI中的角色主力军。负责训练大模型、做科学计算算力爆炸但功耗也高。3. TPU张量处理器极致的“矩阵工厂”图中特征Tensor/Matrix Processing。中间有个巨大的Systolic Array脉动阵列全是MAC乘加器。有Data Buffers最后才是HBM。核心思想为了算矩阵我连脑子都不要了。内部逻辑TPU是Google发明的专用ASIC。它放弃了通用性把所有的晶体管都用来做矩阵乘法GEMM。Systolic Array脉动阵列是精髓数据像流水线一样在阵列里流动权重从左边进激活值从上面进每个单元只做乘法和加法结果传给下一个。这极大减少了去内存拿数据的次数。它是编译器驱动的XLA执行路径在编译时就定死了非常确定。在AI中的角色超级计算器。专门用于神经网络中密集的线性代数运算训练/推理效率极高。4. NPU神经处理单元省电的“边缘管家”图中特征Neural Inference Compute。有Neural Compute Engine很多MAC。有Tensor Buffer最后连Clip/System Memory通常是低速的系统内存。核心思想我在手机里我要省电内部逻辑NPU专为低功耗推理设计如手机、摄像头、IoT设备。它不像GPU那样追求峰值算力而是追求能效比TOPS/W。内部大量使用低精度计算如INT8和片上SRAM尽量减少访问外部DDR内存因为内存访问最耗电。在AI中的角色端侧小助手。让你的手机能本地做人脸识别、语音助手不用联网。5. LPU语言处理单元确定的“Token打印机”图中特征Deterministic Streaming Compute确定性流式计算。Functional Slices功能切片有MXM, VXM, SXM等模块。巨大的On-chip SRAM (220 MB)。关键标注No off-chip DRAM in critical path关键路径无片外内存。核心思想为了快我把所有东西都塞进肚子里绝不卡壳。内部逻辑LPU如Groq的芯片是最新物种专为大模型推理LLM优化。它彻底取消了片外DRAMHBM把模型权重全部放在220MB的巨大片上SRAM里。这意味着数据读取时间恒定Zero Cache Miss。Deterministic确定性所有操作由编译器提前排好队运行时像流水线一样精准同步没有缓存未命中和动态调度的开销。它是软件优先Software-First设计的编译器把一切都规划好了。在AI中的角色极速打字机。能实现每秒几百个Token的推理速度专治大模型“嘴笨”。架构核心哲学​关键结构​内存策略​典型场景​CPU​通用 低延迟​强控制单元 深缓存依赖多级Cache DRAM系统控制、逻辑调度GPU​大规模并行​数千CUDA Core (SIMT)HBM/ GDDR (高带宽)模型训练、图形渲染TPU​极致矩阵运算​Systolic Array (脉动阵列)HBM (编译器调度)云端密集计算NPU​低功耗推理​Neural Engine 低精度MAC片上SRAM 低速系统内存手机/IoT边缘AILPU​确定性 零延迟​Functional Slices 超大SRAM全片上SRAM​ (无片外)大模型实时推理CPU/GPU还在努力克服“内存墙”计算快拿数据慢所以它们有大Cache。TPU/NPU/LPU则是“破罐子破摔”既然拿数据慢那我就把数据塞到计算单元旁边SRAM或者让数据自己流动脉动阵列甚至干脆不要外部内存LPU。概念内部萌芽对外公开大规模商用/出圈TPU​2013Google 立项2016年5月I/O 大会2017 Cloud TPULPU​2016Groq 提出2020 前后芯片推出2023-2024 GroqCloud 2026 英伟达一、CPU不擅长AI的真相不是不能算是单位能量不划算很多人误以为CPU算不动矩阵其实CPU单核算力并不弱AVX-512一次能算16个float32问题在于1. 算力密度太低CPUdie上大部分面积给了Cache和控制逻辑你之前学的L1/L2/L3真正的ALU占比小GPU相反80%以上的die都是计算单元Cache很小→ 同样的硅面积GPU的MAC数量是CPU的100倍以上2. 内存带宽被卡脖子AI计算的本质是输出 权重 × 输入 偏置一次矩阵乘要从内存读权重几十GB读激活值算完写回CPU的DDR4带宽~50GB/sGPU的HBM~1TB/s差20倍。CPU算力再强数据喂不上来也是饿死。3. 能耗比悬殊CPU算1次FP32 MAC~1pJ皮焦GPU算1次FP16 MAC~0.1pJNPU算1次INT8 MAC~0.01pJ同样算1万亿次乘加CPU可能要100WNPU只要1W——手机电池扛不住CPU跑AI所以CPU不是不能算AI是算AI太贵太耗电。这就是专用硬件出现的根本经济动因。二、内存墙AI芯片架构分化的真正导火索你材料里提到了Cache Miss但没点透——内存墙Memory Wall才是过去10年AI芯片创新的最大驱动力。冯·诺依曼瓶颈在AI时代彻底爆发计算单元每18个月翻倍摩尔定律内存带宽每10年才翻3倍→ 差距越拉越大到2020年代NVIDIA H100的算力2000 TFLOPSHBM带宽3TB/s理论算完1个字节数据能做的运算2000T / 3T ≈ 667次FLOP/Byte但实际AI模型每个权重只被用几次就废弃→ 算力严重闲置等数据等到花儿谢。五种芯片的破墙策略各不相同架构破墙思路代价GPU​堆HBM带宽Tensor Core功耗700W贵TPU​Systolic Array让数据流动不回头只能算矩阵NPU​片上SRAMINT8少访问外存只能推理LPU​彻底取消外存全放片上SRAM单芯片容量小要组网CPU​大Cache硬扛扛不住AI规模三、为什么是5种而不是1种通吃场景决定架构专用芯片的悖论越专用越高效但越窄用。AI任务谱系太广单一架构无法通吃训练 vs 推理性质完全不同训练需要高精度FP32/FP16、需要反向传播、需要超大算力→GPU/TPU主场推理可低精度INT8/FP8、顺序生成token、追求时延→NPU/LPU主场云端 vs 边缘功耗预算天差地别云端电力不限→可以700W狂奔→GPU/H100手机电池3W预算→必须NPUINT8SRAM批量 vs 实时吞吐量vs时延批量推理如翻译1000句话要吞吐→GPU/TPU实时对话token-by-token要确定性低时延→LPU这就是为什么市场分化出5种架构——每种都是对特定约束的最优解。四、异构计算的协同未来系统的真实样子你材料最后提到了异构计算我展开讲一个真实的AI请求是怎么在5种芯片间流转的以手机上问AI NPC一个问题为例1. 麦克风采集音频 → NPU跑ASR语音转文字本地低功耗2. 文字请求决策- 简单问题天气/闹钟→ NPU本地跑小LLM3B参数- 复杂问题剧情推理→ 压缩后上传云端3. 云端接收- CPU编排任务分发- GPU/TPU跑大模型推理批量- 若是实时对话 → LPU集群跑确定性低时延4. 生成结果回传手机5. NPU跑TTS文字转语音→ 扬声器播放全程5种芯片协同用户无感知但背后是2次NPU端侧语音小模型1次GPU/TPU云端训练好的模型1次LPU如果走Groq这类实时推理CPU全程编排开发者要懂的硬件感知模型量化FP32→FP16→INT8让模型能在NPU/LPU上跑算子融合减少内存往返如ConvBNReLU合成一个kernel编译调度XLA/TVM/MLIR把模型映射到目标硬件动态卸载小模型端侧NPU大模型云端GPU/LPU这就是为什么AI工程师现在必须懂硬件——不懂硬件的AI优化就是盲调超参。和你之前所有知识的终极闭环把从晶体管到AI芯片的全链路串起来AI需要专用硬件根本不是CPU算不动而是内存墙能耗比双重挤压下的经济选择GPU用HBM堆带宽、TPU用脉动阵列让数据流动、NPU用INT8SRAM省电、LPU用全片上SRAM消延迟——5种架构对应5类约束的最优解未来是CPU编排多芯片协同的异构计算时代开发者必须硬件感知才能把模型跑得又快又省AI 硬件的演进CPU、GPU、TPU、NPU 与 LPU 全面对比技术科普 | 工业智能算网