简介《基于存算一体集成芯片的大模型专用硬件架构》是一份面向大模型推理加速、存算一体与AI芯片架构研究方向读者的专题PDF适合高校研究者、芯片架构工程师及关注数据中心能效的技术人员参考。内容围绕大模型部署中的数据传输带宽瓶颈展开讨论计算与存储分离带来的延迟和能耗问题并给出存算一体集成芯片结合Chiplet的思路。包内仅含1个PDF文件压缩包约3.49MB便于直接检索与批注阅读。文章从架构设计、算法优化和硬件实现三个层面展开重点分析轻量化—存内压缩协同设计、稀疏网络在存算一体硬件上的稠密映射以及存储密度与计算能效的提升路径同时涉及良率、可扩展性和验证复杂度等工程约束。已有140人学习适合用于梳理技术路线、撰写综述或评估存算一体方案时参考。1. 存算一体集成芯片大模型真正缺的可能不是算力有个画面很能说明问题一位管理员守着满屋子书架每算一道题都要跑到书架把书抱回桌子算完再抱回去。题越难要抱的书越多最后他大部分时间都花在往返的路上真正动笔的时间少得可怜。今天的大模型推理就卡在这个「来回跑」上——参数躺在存储里计算单元在另一头每做一次前向传播都要把几十亿个权重搬一遍。所谓存算一体集成芯片就是把「桌子」直接搬进「书架」让乘加运算在数据原本躺着的地方发生再叠上集成芯粒这种「拼装」思路把一颗做不出来的超大芯片拆成几颗小芯片重新封装。搞懂这两个词你就明白为什么算力数字一路狂飙实际跑起来却还是慢吞吞。2. 大模型到底卡在哪带宽墙与单芯片的面积天花板2.1 一次推理要搬多少数据先看一个具体到能算的数字。某开源 70 亿参数大模型共 32 层每一层多头注意力后面跟着几组连续的全连接计算单个全连接矩阵的尺度是 4096×11008 或 4096×4096 这种量级。把这些矩阵的元素个数加起来单层参数量能到 2 亿出头32 层合计 65 亿左右占整个模型系数与计算的 85% 以上。相比之下注意力模块本身的参数少得多算力需求也不算夸张一颗普通处理器或者中等性能的网络处理器就能应付。真正吃资源的是那些又大又密的权重矩阵。麻烦在于这些权重塞不进芯片。单颗芯片上能放的静态随机存储器受光刻与工艺限制量级就在 100 MB 上下短期内不会突变。65 亿个参数哪怕每个只占 2 字节也是 13 GB 的体量比片上存储大两个数量级。于是每次推理都必须把权重从外部存储搬进计算单元搬完算一遍再搬下一批。这就像那位管理员书太多桌子放不下只能一趟趟跑。带宽需求有多夸张按每秒处理一万个令牌的实时目标估算光是把权重搬一遍就需要每秒几十 TB 级的吞吐。下面是这段估算的写法# 用最朴素的方式估算大模型推理的带宽下限 params_total 6.51e9 # 32 层全连接层的参数总量约 65 亿 bytes_per_param 2 # 每个权重按 16 bit 存即 2 字节 tokens_per_second 10_000 # 目标令牌速率每秒处理一万个令牌 # 每个令牌都要把全部权重读一遍所以带宽 ≈ 参数量 × 字节数 × 令牌速率 bandwidth params_total * bytes_per_param * tokens_per_second print(f{bandwidth / 1e12:.1f} TB/s)跑出来是一百多 TB/s 的量级原文给出的口径是 64 TB/s差距来自权重精度取 8 bit 还是 16 bit、以及批处理能复用多少权重的假设不同。关键不在具体数字而在于量级现有高带宽存储在每秒零点几 GB 到几 TB 之间与需求差着两三个数量级。这不是靠把内存条插多几根能补上的缺口而是架构层面的错配。2.2 单芯片 SoC 的三重天花板面对这种需求最直觉的方案是把芯片做得更大算力不够就堆晶体管存储不够就把缓存做大一颗超大面积系统级芯片全包了。这条路在工程上已经走到头了。第一重是面积。光刻掩膜版有物理尺寸上限12 英寸晶圆上单颗芯片的最大设计面积被卡在 858 mm² 这个数上。芯片再大就得拼接曝光成本和工艺难度陡增。第二重是良率。晶圆上天然有缺陷点芯片面积越大碰到缺陷的概率越高报废一颗的损失也越大。一颗 800 mm² 的芯片和四颗 200 mm² 的芯片用的硅面积差不多但后者的良率曲线要好看得多因为坏一颗只损失四分之一。第三重是设计与验证复杂度。超大面积芯片意味着更长的布线、更复杂的时序收敛、更庞大的验证空间设计周期和人力成本一起往上翻。这三重压力叠在一起结论很清楚靠单颗芯片继续放大算力性价比已经崩了。2.3 芯粒把大芯片拆开再拼回去出路是把「做大」换成「拼多」。集成芯粒的思路是先把系统按功能拆成若干颗独立设计、独立制造的小芯片每颗都用最适合它的工艺然后再用先进封装把它们重新组装成一个完整系统。计算核心用最先进的逻辑工艺存储用成熟的存储工艺接口用专门的互联工艺各得其所。支撑这套思路的是三项技术2.5D/3D 封装把芯片在垂直方向叠起来或并排贴在高密度中介层上高速片间互联让几颗芯片之间的通信延迟和带宽接近片上水平有源基板则在封装层里再嵌一层逻辑承担转发和调度。三者配合才能让「拼起来」的系统表现得不比「长在一起」的芯片差太多。这套玩法已经成了高性能处理器的标配。服务器与数据中心里的加速卡普遍采用计算芯粒加高带宽存储芯粒的组合单卡算力能到 2 PFLOPS、383 TFLOPS、256 TFLOPS 这几档靠的都是封装层面的集成而不是单颗巨无霸。对芯片设计方来说芯粒带来的额外好处是模块化同一套计算芯粒可以配不同容量的存储芯粒做出高低搭配的产品线而不必为每一档重新流片。对比项单芯片 SoC集成芯粒方案面积上限受 858 mm² 掩膜限制由封装尺寸决定可远超单片上限良率面积越大良率越低小芯片分别筛选坏一颗损失小工艺搭配全系统统一工艺计算、存储、互联各用最优工艺设计周期一次流片覆盖全功能周期长模块独立迭代可复用已有芯粒主要代价成本与风险集中封装工艺复杂片间互联有开销3. 存算一体怎么省带宽让计算长在存储边上3.1 交叉阵列两条电路定律直接做乘法存算一体的经典实现是交叉阵列。想象一张网格横着的线叫字线竖着的线叫位线每个交叉点上放一个能储存电导值的器件。把输入特征用字线上的电压表示把权重用电导值固化在交叉点上那么根据欧姆定律每个交叉点的电流就是电压乘电导根据基尔霍夫定律同一根位线上的电流会自然相加。一整套矩阵向量乘法就这么在一次读操作里完成了。这个结构最妙的地方在于权重的处置方式。传统架构里权重是要被搬来搬去的客人在交叉阵列里权重是长在器件上的属性加完电压读出电流就完事全程不动。搬移的只剩输入和输出数据量从「几十亿个权重」降到「几千个输入输出值」。这一降就是三四个数量级的差别。把这种存算一体加速卡和一颗矢量计算处理器搭在一起与传统的加速卡加外部内存方案相比在相同令牌速率和算力下接口带宽需求只要每秒几十 Gbit 就够节省幅度能到一千倍以上。换句话说原本需要在机柜里拉几十根高速链路才能喂饱的模型现在一颗芯粒的接口就喂得下。3.2 算力存储比大模型要的比例低得反常要理解存算一体为什么必须换个组织方式得先看一个指标算力存储比也就是一颗芯片的算力除以它能装下的权重容量。对大模型来说这个比值有个漂亮的结论它等于目标令牌速率与网络大小无关。把 32 层全连接层的算力需求算出来约为 68 TOPS存储需求约为 3.4 GB两者相除正好是每秒一万次这个量级也就是令牌速率本身。这不是巧合因为每产生一个令牌恰好要把所有权重过一遍。模型变大算力和存储同步变大比值不变。对比一下传统卷积网络某经典 50 层卷积模型的算力存储比是每帧 164 GOPS/kB 这个量级比大模型高出好几个数量级。这意味着给大模型准备的硬件如果照搬卷积网络的架构算力会严重过剩而存储严重不足——就像一个雇了十个厨子却只有一个灶台的厨房。传统交叉阵列的算力存储比是时钟频率乘以 2也就是阵列每做一次乘加就要对应一次完整的权重读取。这个比例对大模型来说太高了。于是有了存边计算架构把乘加逻辑分布在片上权重缓冲静态随机存储器的边缘算力存储比变成时钟频率乘以 2 再除以存储深度。分母上多了存储深度这一项比例一下就降下来了。具体怎么映射权重在计算开始前预先加载到存边计算的宏单元里沿输入通道方向切成块展平后存进宏单元的不同列。输出通道方向的并行度靠堆多个宏单元来实现一片一片拼出空间并行。近存计算里那套成熟的数据流映射方法在这里可以几乎原样搬过来用这也是存边路线工程落地快的原因之一。# 比较三种架构的算力存储比理解为什么大模型要降比例 clock_mhz 320 # 芯片工作频率 depth_kb 96 # 单个存边计算宏的存储深度 ratio_crossbar clock_mhz * 2 # 传统交叉阵列 ratio_comb clock_mhz * 2 / depth_kb # 存边计算架构 print(f交叉阵列算力存储比: {ratio_crossbar} (GOPS/kB 量级)) print(f存边计算算力存储比: {ratio_comb:.2f} (GOPS/kB 量级))参数说明时钟频率取实测芯片的 320 MHz存储深度取宏单元的 96 kB。可以看到存边架构把比值压低了两个数量级正好落在大模型需要的区间附近。这里的除法不是精确公式而是用来建立「存储越深、算力相对越少」这条直觉。3.3 DRAM、SRAM、RRAM三种介质各让一步存算一体不是一个器件方案而是一类架构思想底下可以换不同的存储介质各有各的取舍。动态随机存储器做存算优势是密度。有一类商业方案在每颗存储颗粒里塞进 0.5 GB 容量和 512 GFLOPS 算力另一类低功耗内存颗粒的存内计算版本峰值算力能到 102.4 GFLOPS相比同期的网络处理器提升约 4.5 倍算力、省下 72% 功耗。但它的短板也明显高密度存储的工艺专用性强和逻辑工艺兼容性差存储单元存在读破坏问题电荷还会泄漏必须定期刷新这些都让计算逻辑的设计变得别扭。静态随机存储器做存算优势是能效和工艺兼容性它本来就是逻辑工艺里的常客做在计算电路边上毫无违和感。问题在于微缩。存储单元的微缩比例远低于逻辑电路受光刻限制单芯片的静态存储容量就卡在 100 MB 量级靠工艺进步很难突变。所以这条路的关键不在器件而在封装用 2.5D/3D 堆叠把多颗存储芯粒叠起来在投影面积上等效提升晶体管密度。已有团队用扇出型封装把四颗 65 nm 的存边计算芯粒集成成一颗算力和容量都上了一个台阶超过四颗之后映射方法还得再优化才能让算力随芯粒数量线性增长。阻变存储器做存算优势是非易失和低读取功耗。它靠改变两端器件的阻值来存信息与常规逻辑工艺兼容性好基于一晶体管多电阻的阵列加上三维堆叠密度可以逼近动态存储器。权重写进去就一直在不刷新也不掉对推理这种「权重固定、只换输入」的场景天然贴合。介质密度能效工艺兼容主要短板动态随机存储器高中差需专用工艺读破坏、电荷泄漏、需定期刷新静态随机存储器低单芯片约 100 MB 量级高好与逻辑工艺同源微缩停滞需靠堆叠扩容阻变存储器中高三维堆叠后接近动态存储高好器件一致性、写入可靠性待打磨4. 常见易混概念存算一体、存内计算、近存计算到底差在哪4.1 误区一存算一体就是把内存当硬盘用最容易跑偏的理解是把「存算一体」听成「存储和计算合并成一个部件」于是联想到内存数据库、持久化内存那类东西——数据存在哪儿、算在哪儿反正都在同一块介质上。这个联想方向错了。易混的根源在于中文里「存」和「算」两个字的组合太宽松。真正的存算一体指的是把乘加这类计算操作搬进存储阵列内部完成物理上利用存储单元的模拟特性电导、阻值、电荷直接参与运算而不是把数据从存储读到处理器再算。内存数据库解决的是「少搬一趟」的软件问题存算一体解决的是「这一趟根本不用搬」的电路问题。区分方法很简单看矩阵乘法发生在哪里。如果乘加还是在处理器的算术单元里做那不管数据放得多近都只是缓存优化只有乘加结果由位线上的电流或电压直接体现才算真正的存算一体。4.2 误区二存内计算和近存计算是一回事这两个词经常被混用因为都带「存」字都声称能缓解带宽压力。差别其实在距离上而距离决定了收益的量级。近存计算是把计算单元放到存储颗粒旁边比如在同一块封装基板上紧挨着放数据不用走远路但还是要走一趟从存储阵列读出送进计算单元。它省的是传输延迟和部分功耗带宽瓶颈缓解有限。存内计算是把计算做进存储阵列里面数据一步都不用走。省的是整个搬移动作收益高一个量级代价是存储阵列要改造工艺复杂度上升。区分方法问一句「数据出过存储阵列吗」。出过就是近存没出过就是存内。存边计算则是第三种把计算逻辑摆在存储阵列的边缘权重常驻在缓冲里介于两者之间——比近存更省比纯存内更好实现。4.3 误区三芯粒就是把几颗芯片并排粘一起听起来像拼乐高实际门槛全在「拼」之后的电气一致性上。把几颗裸片贴在同一个基板上如果片间互联带宽不够、延迟不稳、协议不统一拼出来的系统会比单芯片还慢。易混点在于把「多芯片模块」和「集成芯粒」当成同义词。多芯片模块只是物理上的共封装各颗芯片可能各干各的集成芯粒强调的是逻辑上的单一系统——几颗芯粒要通过高速互联协议协同工作对外表现得像一颗芯片共享地址空间、统一调度。区分方法看有没有统一的片间互联协议和一致的编程模型。如果软件要为每颗芯片单独写一套驱动和内存管理那就只是共封装如果软件看到的是一台机器才算芯粒集成。判断标准不是封装形式而是对上层暴露的抽象层次。4.4 误区四稀疏剪枝做完存算一体就自动变快剪枝能减少参数量这是常识。但在存算一体硬件上剪掉的那些零并不会自动变成性能收益甚至可能一点用都没有。原因在交叉阵列的工作方式。阵列是按行列同步计算的同一根位线上的电流要一起相加。如果某个权重被剪成零对应的存储单元仍然占着位置——你不能把它挖掉否则整行的同步性就破坏了。所以非结构化剪枝在阵列上只是把权重的值改成零面积没少、乘加次数没少白剪。区分方法看剪枝粒度是否和硬件的并行粒度对齐。剪成整行整列的块状结构硬件才好跳过剪成随机散点硬件只能照单全收。想让稀疏真正兑现成能效还得靠存内压缩这类把稀疏矩阵重新映射成稠密计算的手段这就是下一章要说的事。4.5 误区五能效比高就等于跑得快能效比和吞吐是两个维度经常被混着说。一颗芯片标称每瓦能做多少万亿次运算只说明它省电不说明它快。在存算一体领域尤其容易混淆因为这类架构的卖点恰恰是能效很容易让人误以为性能也一并飙升。易混的根源是单位里同时出现了「次数」和「瓦」。如果算力本身很小能效比照样可以做得很漂亮——用小阵列跑低负载分母小分子也小比值好看但没用。反过来一颗大芯片能效比一般绝对算力却高得多。区分方法先看绝对算力和存储容量是否匹配模型规模再看能效比。脱离负载谈能效比跟脱离路况谈油耗差不多。对部署方来说先要问的是「这颗芯片装不装得下我的模型」其次才是「每瓦能跑多少」。5. 稀疏网络的稠密映射把 75% 的零变成真实收益5.1 剪枝之后零值权重为什么还占着位置大模型有一类天然的冗余权重矩阵里大量元素对最终输出贡献极小剪掉之后精度几乎不掉。有实验在 12 层注意力模型上做全局剪枝发现把剪枝子组大小设为 32、每组剪掉四分之三的权重网络性能基本保持不变。也就是说稀疏率可以做到 75%模型还是那个模型。这一步之后权重的存储需求理论上只剩四分之一计算量也能砍到四分之一。但前面说过这些零在交叉阵列里仍然占着物理位置因为它们需要维持阵列的同步性。如果走结构化剪枝把零组织成整块整行硬件确实好跳过了可结构化约束太强剪完之后精度掉得厉害。这就像整理衣柜把衣服全按颜色严格排列确实整齐但你会发现有些格子空着、有些塞不下最后还是得留一堆空隙。真正的出路是换一种映射方式——不是让硬件去适应稀疏而是把稀疏重新编码成稠密。这个思路叫存内压缩。5.2 稠密权重加比特掩码一次稀疏计算拆成两次稠密计算具体做法分三步。第一步把权重向量划成固定大小的剪枝子组每组 32 个元素按预定义的稀疏率剪。第二步把每组剩下的非零权重收拢成一个紧凑的稠密向量同时用一个二进制比特掩码记录「原来的第几位被保留了」——剪掉的位置写 0保留的写 1。第三步在计算时稠密权重和稠密权重相乘之前先按掩码从输入特征里挑出对应的那几个分量让它们对齐。这么做的好处是参与运算的全是稠密数据阵列可以满负荷跑没有一个存储单元是浪费的。原本 32 个位置里只有 8 个有效值现在 8 个值紧挨着放阵列的利用率从 25% 拉回 100%。稀疏带来的收益终于从「省了存储容量」变成了「省了实打实的乘加周期」。# 用比特掩码从输入特征中挑出保留位置的值 mask 0b1011 # 比特掩码1 表示该位置权重被保留0 表示被剪掉 features [10, 20, 30, 40] # 前缀 popcount统计当前位置之前有多少个 1用来算出紧凑索引 def prefix_popcount(mask, width): out, count [], 0 for i in range(width): out.append(count) # 第 i 位之前有几个 1 count (mask i) 1 # 遇到 1 就累加 return out print(prefix_popcount(mask, 4)) # [0, 1, 2, 2]参数说明掩码从低位往高位对应输入特征的下标输出数组给出每个原始位置在稠密向量里的目标下标。有了这张表输入特征就能被搬到正确的位置上与稠密权重一一对应。整个过程只涉及整数加法和位运算可以做成纯组合逻辑几乎不占时钟周期。5.3 蝶形网络按掩码把输入特征路由到位知道「该搬到哪儿」还不够还得有一条能灵活变形的通路把数据送过去。这里用的是一个蝶形拓扑的数据路由网络输入从左侧进入经过若干级二选一的开关可以到达右侧任意一个输出端口。每一级的开关由传输管实现控制信号由解码器实时产生。解码器吃什么吃比特掩码。它做两件核心操作前缀 pop 计数和左旋转补码。前者扫描掩码序列输出当前位置之前 1 的总数这决定了某个输入该去第几个输出后者是一个标准的左旋转操作唯一不同在于移位量以补码形式表示用来处理反向寻址的情况。两者一配合掩码就被翻译成一串控制比特逐级配置蝶形网络的通路。这个设计的好处是「配置一次路由一整个向量」。掩码在权重加载阶段就已经确定解码出来的控制信号可以复用不需要每个令牌都重算。整套流程是顺序的、确定性的没有数据依赖的分支所以功能正确性和时序收敛都比较容易保证。5.4 一颗 28 nm 验证芯片给出的数字这套协同设计不是纸上推演。有一版用 28 nm 互补金属氧化物半导体工艺流片的验证芯片工作频率最高 320 MHz总功耗 250.65 mW面积 3.93 mm²。在计入网络稀疏度之后峰值性能达到 3.3 TOPS面积效率约 0.85 TOPS/mm²。能效数字更值得看生成查询、键、值矩阵这一段能效达到 11.83 TOPS/W整体注意力部分做到 25.22 TOPS/W。这两个数字放在一起说明一件事——注意力模块本身参数少、算力密度低反而更容易跑出漂亮的能效真正吃资源的是那些稠密的全连接层也是存算一体和存内压缩要主攻的方向。要提醒的是这颗芯片是验证性质的面积和前面提到的「单芯粒 10 TOPS、200 MB 容量、计算面积 8 mm²、存储面积 300 mm²、算力密度 0.0325 TOPS/mm²」的估算不是一回事。前者用成熟工艺验证架构可行性后者是按更先进工艺推算的规模化形态。把两组数字放在一起比容易得出错误结论。真实的工程判断应该看在目标工艺下算力密度能否支撑模型规模接口带宽能否被芯粒数量摊薄。6. 什么时候该考虑存算一体什么时候别急着上判断该不该走这条路先问三个问题顺序不能乱。第一个问题你的瓶颈是不是搬数据。如果模型规模在几亿参数以内或者推理是离线批处理、对延迟不敏感那么带宽压力其实没那么大常规加速卡加优化过的批处理策略就能过得不错。存算一体的价值在「权重反复搬移」这个场景里才成立场景不对它带来的复杂度全是净亏。第二个问题你的模型能不能被压缩。存内压缩的前提是权重存在冗余且可剪。如果模型本身已经高度稠密、剪一点精度就崩那这套「稠密映射」的收益就要打折扣你实际拿到的可能只是存算一体本身的带宽优势而不是稀疏带来的额外能效。第三个问题你能不能承受软硬件协同的代价。存算一体不是一个即插即用的加速卡它要求算法侧的剪枝粒度、权重布局、量化精度都跟着硬件走。团队里得有既懂模型又懂电路的人来对齐否则流片回来发现映射方法和训练时的剪枝策略对不上那就是纯纯的翻车。场景建议理由十亿参数以上、在线推理、延迟敏感优先考虑权重搬移是主要开销收益最大模型权重可剪、稀疏率高且精度稳定优先考虑存内压缩能兑现成存储密度和能效小模型、边缘端单次推理谨慎评估带宽压力小架构复杂度不划算模型频繁微调、权重每轮都变谨慎评估权重固化在阵列里的优势用不上团队没有算法与电路协同能力暂缓映射不当会让硬件优势全部蒸发我自己的习惯是任何一次架构选型之前先把「每令牌要搬多少字节」和「片上能装多少权重」这两个数写在一张纸上。有一回我跳过这一步直接照着某份资料里的峰值能效数字做了方案等到评审时被问「你的模型放得下吗」才发现容量差了整整一个数量级前面两周的推演全部作废。从那以后我每次评估新架构都强制走一遍「先算容量、再算带宽、最后看能效」这个顺序一步都不省。这份资料里关于存边计算的映射方法、蝶形路由的实现细节以及那颗 28 nm 芯片的完整参数表值得对照着你的实际场景再读一遍。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/25 1:10:20 · 阅读 1.2k 存算一体集成芯片：破解大模型推理带宽墙与芯粒封装路径
简介《基于存算一体集成芯片的大模型专用硬件架构》是一份面向大模型推理加速、存算一体与AI芯片架构研究方向读者的专题PDF适合高校研究者、芯片架构工程师及关注数据中心能效的技术人员参考。内容围绕大模型部署中的数据传输带宽瓶颈展开讨论计算与存储分离带来的延迟和能耗问题并给出存算一体集成芯片结合Chiplet的思路。包内仅含1个PDF文件压缩包约3.49MB便于直接检索与批注阅读。文章从架构设计、算法优化和硬件实现三个层面展开重点分析轻量化—存内压缩协同设计、稀疏网络在存算一体硬件上的稠密映射以及存储密度与计算能效的提升路径同时涉及良率、可扩展性和验证复杂度等工程约束。已有140人学习适合用于梳理技术路线、撰写综述或评估存算一体方案时参考。1. 存算一体集成芯片大模型真正缺的可能不是算力有个画面很能说明问题一位管理员守着满屋子书架每算一道题都要跑到书架把书抱回桌子算完再抱回去。题越难要抱的书越多最后他大部分时间都花在往返的路上真正动笔的时间少得可怜。今天的大模型推理就卡在这个「来回跑」上——参数躺在存储里计算单元在另一头每做一次前向传播都要把几十亿个权重搬一遍。所谓存算一体集成芯片就是把「桌子」直接搬进「书架」让乘加运算在数据原本躺着的地方发生再叠上集成芯粒这种「拼装」思路把一颗做不出来的超大芯片拆成几颗小芯片重新封装。搞懂这两个词你就明白为什么算力数字一路狂飙实际跑起来却还是慢吞吞。2. 大模型到底卡在哪带宽墙与单芯片的面积天花板2.1 一次推理要搬多少数据先看一个具体到能算的数字。某开源 70 亿参数大模型共 32 层每一层多头注意力后面跟着几组连续的全连接计算单个全连接矩阵的尺度是 4096×11008 或 4096×4096 这种量级。把这些矩阵的元素个数加起来单层参数量能到 2 亿出头32 层合计 65 亿左右占整个模型系数与计算的 85% 以上。相比之下注意力模块本身的参数少得多算力需求也不算夸张一颗普通处理器或者中等性能的网络处理器就能应付。真正吃资源的是那些又大又密的权重矩阵。麻烦在于这些权重塞不进芯片。单颗芯片上能放的静态随机存储器受光刻与工艺限制量级就在 100 MB 上下短期内不会突变。65 亿个参数哪怕每个只占 2 字节也是 13 GB 的体量比片上存储大两个数量级。于是每次推理都必须把权重从外部存储搬进计算单元搬完算一遍再搬下一批。这就像那位管理员书太多桌子放不下只能一趟趟跑。带宽需求有多夸张按每秒处理一万个令牌的实时目标估算光是把权重搬一遍就需要每秒几十 TB 级的吞吐。下面是这段估算的写法# 用最朴素的方式估算大模型推理的带宽下限 params_total 6.51e9 # 32 层全连接层的参数总量约 65 亿 bytes_per_param 2 # 每个权重按 16 bit 存即 2 字节 tokens_per_second 10_000 # 目标令牌速率每秒处理一万个令牌 # 每个令牌都要把全部权重读一遍所以带宽 ≈ 参数量 × 字节数 × 令牌速率 bandwidth params_total * bytes_per_param * tokens_per_second print(f{bandwidth / 1e12:.1f} TB/s)跑出来是一百多 TB/s 的量级原文给出的口径是 64 TB/s差距来自权重精度取 8 bit 还是 16 bit、以及批处理能复用多少权重的假设不同。关键不在具体数字而在于量级现有高带宽存储在每秒零点几 GB 到几 TB 之间与需求差着两三个数量级。这不是靠把内存条插多几根能补上的缺口而是架构层面的错配。2.2 单芯片 SoC 的三重天花板面对这种需求最直觉的方案是把芯片做得更大算力不够就堆晶体管存储不够就把缓存做大一颗超大面积系统级芯片全包了。这条路在工程上已经走到头了。第一重是面积。光刻掩膜版有物理尺寸上限12 英寸晶圆上单颗芯片的最大设计面积被卡在 858 mm² 这个数上。芯片再大就得拼接曝光成本和工艺难度陡增。第二重是良率。晶圆上天然有缺陷点芯片面积越大碰到缺陷的概率越高报废一颗的损失也越大。一颗 800 mm² 的芯片和四颗 200 mm² 的芯片用的硅面积差不多但后者的良率曲线要好看得多因为坏一颗只损失四分之一。第三重是设计与验证复杂度。超大面积芯片意味着更长的布线、更复杂的时序收敛、更庞大的验证空间设计周期和人力成本一起往上翻。这三重压力叠在一起结论很清楚靠单颗芯片继续放大算力性价比已经崩了。2.3 芯粒把大芯片拆开再拼回去出路是把「做大」换成「拼多」。集成芯粒的思路是先把系统按功能拆成若干颗独立设计、独立制造的小芯片每颗都用最适合它的工艺然后再用先进封装把它们重新组装成一个完整系统。计算核心用最先进的逻辑工艺存储用成熟的存储工艺接口用专门的互联工艺各得其所。支撑这套思路的是三项技术2.5D/3D 封装把芯片在垂直方向叠起来或并排贴在高密度中介层上高速片间互联让几颗芯片之间的通信延迟和带宽接近片上水平有源基板则在封装层里再嵌一层逻辑承担转发和调度。三者配合才能让「拼起来」的系统表现得不比「长在一起」的芯片差太多。这套玩法已经成了高性能处理器的标配。服务器与数据中心里的加速卡普遍采用计算芯粒加高带宽存储芯粒的组合单卡算力能到 2 PFLOPS、383 TFLOPS、256 TFLOPS 这几档靠的都是封装层面的集成而不是单颗巨无霸。对芯片设计方来说芯粒带来的额外好处是模块化同一套计算芯粒可以配不同容量的存储芯粒做出高低搭配的产品线而不必为每一档重新流片。对比项单芯片 SoC集成芯粒方案面积上限受 858 mm² 掩膜限制由封装尺寸决定可远超单片上限良率面积越大良率越低小芯片分别筛选坏一颗损失小工艺搭配全系统统一工艺计算、存储、互联各用最优工艺设计周期一次流片覆盖全功能周期长模块独立迭代可复用已有芯粒主要代价成本与风险集中封装工艺复杂片间互联有开销3. 存算一体怎么省带宽让计算长在存储边上3.1 交叉阵列两条电路定律直接做乘法存算一体的经典实现是交叉阵列。想象一张网格横着的线叫字线竖着的线叫位线每个交叉点上放一个能储存电导值的器件。把输入特征用字线上的电压表示把权重用电导值固化在交叉点上那么根据欧姆定律每个交叉点的电流就是电压乘电导根据基尔霍夫定律同一根位线上的电流会自然相加。一整套矩阵向量乘法就这么在一次读操作里完成了。这个结构最妙的地方在于权重的处置方式。传统架构里权重是要被搬来搬去的客人在交叉阵列里权重是长在器件上的属性加完电压读出电流就完事全程不动。搬移的只剩输入和输出数据量从「几十亿个权重」降到「几千个输入输出值」。这一降就是三四个数量级的差别。把这种存算一体加速卡和一颗矢量计算处理器搭在一起与传统的加速卡加外部内存方案相比在相同令牌速率和算力下接口带宽需求只要每秒几十 Gbit 就够节省幅度能到一千倍以上。换句话说原本需要在机柜里拉几十根高速链路才能喂饱的模型现在一颗芯粒的接口就喂得下。3.2 算力存储比大模型要的比例低得反常要理解存算一体为什么必须换个组织方式得先看一个指标算力存储比也就是一颗芯片的算力除以它能装下的权重容量。对大模型来说这个比值有个漂亮的结论它等于目标令牌速率与网络大小无关。把 32 层全连接层的算力需求算出来约为 68 TOPS存储需求约为 3.4 GB两者相除正好是每秒一万次这个量级也就是令牌速率本身。这不是巧合因为每产生一个令牌恰好要把所有权重过一遍。模型变大算力和存储同步变大比值不变。对比一下传统卷积网络某经典 50 层卷积模型的算力存储比是每帧 164 GOPS/kB 这个量级比大模型高出好几个数量级。这意味着给大模型准备的硬件如果照搬卷积网络的架构算力会严重过剩而存储严重不足——就像一个雇了十个厨子却只有一个灶台的厨房。传统交叉阵列的算力存储比是时钟频率乘以 2也就是阵列每做一次乘加就要对应一次完整的权重读取。这个比例对大模型来说太高了。于是有了存边计算架构把乘加逻辑分布在片上权重缓冲静态随机存储器的边缘算力存储比变成时钟频率乘以 2 再除以存储深度。分母上多了存储深度这一项比例一下就降下来了。具体怎么映射权重在计算开始前预先加载到存边计算的宏单元里沿输入通道方向切成块展平后存进宏单元的不同列。输出通道方向的并行度靠堆多个宏单元来实现一片一片拼出空间并行。近存计算里那套成熟的数据流映射方法在这里可以几乎原样搬过来用这也是存边路线工程落地快的原因之一。# 比较三种架构的算力存储比理解为什么大模型要降比例 clock_mhz 320 # 芯片工作频率 depth_kb 96 # 单个存边计算宏的存储深度 ratio_crossbar clock_mhz * 2 # 传统交叉阵列 ratio_comb clock_mhz * 2 / depth_kb # 存边计算架构 print(f交叉阵列算力存储比: {ratio_crossbar} (GOPS/kB 量级)) print(f存边计算算力存储比: {ratio_comb:.2f} (GOPS/kB 量级))参数说明时钟频率取实测芯片的 320 MHz存储深度取宏单元的 96 kB。可以看到存边架构把比值压低了两个数量级正好落在大模型需要的区间附近。这里的除法不是精确公式而是用来建立「存储越深、算力相对越少」这条直觉。3.3 DRAM、SRAM、RRAM三种介质各让一步存算一体不是一个器件方案而是一类架构思想底下可以换不同的存储介质各有各的取舍。动态随机存储器做存算优势是密度。有一类商业方案在每颗存储颗粒里塞进 0.5 GB 容量和 512 GFLOPS 算力另一类低功耗内存颗粒的存内计算版本峰值算力能到 102.4 GFLOPS相比同期的网络处理器提升约 4.5 倍算力、省下 72% 功耗。但它的短板也明显高密度存储的工艺专用性强和逻辑工艺兼容性差存储单元存在读破坏问题电荷还会泄漏必须定期刷新这些都让计算逻辑的设计变得别扭。静态随机存储器做存算优势是能效和工艺兼容性它本来就是逻辑工艺里的常客做在计算电路边上毫无违和感。问题在于微缩。存储单元的微缩比例远低于逻辑电路受光刻限制单芯片的静态存储容量就卡在 100 MB 量级靠工艺进步很难突变。所以这条路的关键不在器件而在封装用 2.5D/3D 堆叠把多颗存储芯粒叠起来在投影面积上等效提升晶体管密度。已有团队用扇出型封装把四颗 65 nm 的存边计算芯粒集成成一颗算力和容量都上了一个台阶超过四颗之后映射方法还得再优化才能让算力随芯粒数量线性增长。阻变存储器做存算优势是非易失和低读取功耗。它靠改变两端器件的阻值来存信息与常规逻辑工艺兼容性好基于一晶体管多电阻的阵列加上三维堆叠密度可以逼近动态存储器。权重写进去就一直在不刷新也不掉对推理这种「权重固定、只换输入」的场景天然贴合。介质密度能效工艺兼容主要短板动态随机存储器高中差需专用工艺读破坏、电荷泄漏、需定期刷新静态随机存储器低单芯片约 100 MB 量级高好与逻辑工艺同源微缩停滞需靠堆叠扩容阻变存储器中高三维堆叠后接近动态存储高好器件一致性、写入可靠性待打磨4. 常见易混概念存算一体、存内计算、近存计算到底差在哪4.1 误区一存算一体就是把内存当硬盘用最容易跑偏的理解是把「存算一体」听成「存储和计算合并成一个部件」于是联想到内存数据库、持久化内存那类东西——数据存在哪儿、算在哪儿反正都在同一块介质上。这个联想方向错了。易混的根源在于中文里「存」和「算」两个字的组合太宽松。真正的存算一体指的是把乘加这类计算操作搬进存储阵列内部完成物理上利用存储单元的模拟特性电导、阻值、电荷直接参与运算而不是把数据从存储读到处理器再算。内存数据库解决的是「少搬一趟」的软件问题存算一体解决的是「这一趟根本不用搬」的电路问题。区分方法很简单看矩阵乘法发生在哪里。如果乘加还是在处理器的算术单元里做那不管数据放得多近都只是缓存优化只有乘加结果由位线上的电流或电压直接体现才算真正的存算一体。4.2 误区二存内计算和近存计算是一回事这两个词经常被混用因为都带「存」字都声称能缓解带宽压力。差别其实在距离上而距离决定了收益的量级。近存计算是把计算单元放到存储颗粒旁边比如在同一块封装基板上紧挨着放数据不用走远路但还是要走一趟从存储阵列读出送进计算单元。它省的是传输延迟和部分功耗带宽瓶颈缓解有限。存内计算是把计算做进存储阵列里面数据一步都不用走。省的是整个搬移动作收益高一个量级代价是存储阵列要改造工艺复杂度上升。区分方法问一句「数据出过存储阵列吗」。出过就是近存没出过就是存内。存边计算则是第三种把计算逻辑摆在存储阵列的边缘权重常驻在缓冲里介于两者之间——比近存更省比纯存内更好实现。4.3 误区三芯粒就是把几颗芯片并排粘一起听起来像拼乐高实际门槛全在「拼」之后的电气一致性上。把几颗裸片贴在同一个基板上如果片间互联带宽不够、延迟不稳、协议不统一拼出来的系统会比单芯片还慢。易混点在于把「多芯片模块」和「集成芯粒」当成同义词。多芯片模块只是物理上的共封装各颗芯片可能各干各的集成芯粒强调的是逻辑上的单一系统——几颗芯粒要通过高速互联协议协同工作对外表现得像一颗芯片共享地址空间、统一调度。区分方法看有没有统一的片间互联协议和一致的编程模型。如果软件要为每颗芯片单独写一套驱动和内存管理那就只是共封装如果软件看到的是一台机器才算芯粒集成。判断标准不是封装形式而是对上层暴露的抽象层次。4.4 误区四稀疏剪枝做完存算一体就自动变快剪枝能减少参数量这是常识。但在存算一体硬件上剪掉的那些零并不会自动变成性能收益甚至可能一点用都没有。原因在交叉阵列的工作方式。阵列是按行列同步计算的同一根位线上的电流要一起相加。如果某个权重被剪成零对应的存储单元仍然占着位置——你不能把它挖掉否则整行的同步性就破坏了。所以非结构化剪枝在阵列上只是把权重的值改成零面积没少、乘加次数没少白剪。区分方法看剪枝粒度是否和硬件的并行粒度对齐。剪成整行整列的块状结构硬件才好跳过剪成随机散点硬件只能照单全收。想让稀疏真正兑现成能效还得靠存内压缩这类把稀疏矩阵重新映射成稠密计算的手段这就是下一章要说的事。4.5 误区五能效比高就等于跑得快能效比和吞吐是两个维度经常被混着说。一颗芯片标称每瓦能做多少万亿次运算只说明它省电不说明它快。在存算一体领域尤其容易混淆因为这类架构的卖点恰恰是能效很容易让人误以为性能也一并飙升。易混的根源是单位里同时出现了「次数」和「瓦」。如果算力本身很小能效比照样可以做得很漂亮——用小阵列跑低负载分母小分子也小比值好看但没用。反过来一颗大芯片能效比一般绝对算力却高得多。区分方法先看绝对算力和存储容量是否匹配模型规模再看能效比。脱离负载谈能效比跟脱离路况谈油耗差不多。对部署方来说先要问的是「这颗芯片装不装得下我的模型」其次才是「每瓦能跑多少」。5. 稀疏网络的稠密映射把 75% 的零变成真实收益5.1 剪枝之后零值权重为什么还占着位置大模型有一类天然的冗余权重矩阵里大量元素对最终输出贡献极小剪掉之后精度几乎不掉。有实验在 12 层注意力模型上做全局剪枝发现把剪枝子组大小设为 32、每组剪掉四分之三的权重网络性能基本保持不变。也就是说稀疏率可以做到 75%模型还是那个模型。这一步之后权重的存储需求理论上只剩四分之一计算量也能砍到四分之一。但前面说过这些零在交叉阵列里仍然占着物理位置因为它们需要维持阵列的同步性。如果走结构化剪枝把零组织成整块整行硬件确实好跳过了可结构化约束太强剪完之后精度掉得厉害。这就像整理衣柜把衣服全按颜色严格排列确实整齐但你会发现有些格子空着、有些塞不下最后还是得留一堆空隙。真正的出路是换一种映射方式——不是让硬件去适应稀疏而是把稀疏重新编码成稠密。这个思路叫存内压缩。5.2 稠密权重加比特掩码一次稀疏计算拆成两次稠密计算具体做法分三步。第一步把权重向量划成固定大小的剪枝子组每组 32 个元素按预定义的稀疏率剪。第二步把每组剩下的非零权重收拢成一个紧凑的稠密向量同时用一个二进制比特掩码记录「原来的第几位被保留了」——剪掉的位置写 0保留的写 1。第三步在计算时稠密权重和稠密权重相乘之前先按掩码从输入特征里挑出对应的那几个分量让它们对齐。这么做的好处是参与运算的全是稠密数据阵列可以满负荷跑没有一个存储单元是浪费的。原本 32 个位置里只有 8 个有效值现在 8 个值紧挨着放阵列的利用率从 25% 拉回 100%。稀疏带来的收益终于从「省了存储容量」变成了「省了实打实的乘加周期」。# 用比特掩码从输入特征中挑出保留位置的值 mask 0b1011 # 比特掩码1 表示该位置权重被保留0 表示被剪掉 features [10, 20, 30, 40] # 前缀 popcount统计当前位置之前有多少个 1用来算出紧凑索引 def prefix_popcount(mask, width): out, count [], 0 for i in range(width): out.append(count) # 第 i 位之前有几个 1 count (mask i) 1 # 遇到 1 就累加 return out print(prefix_popcount(mask, 4)) # [0, 1, 2, 2]参数说明掩码从低位往高位对应输入特征的下标输出数组给出每个原始位置在稠密向量里的目标下标。有了这张表输入特征就能被搬到正确的位置上与稠密权重一一对应。整个过程只涉及整数加法和位运算可以做成纯组合逻辑几乎不占时钟周期。5.3 蝶形网络按掩码把输入特征路由到位知道「该搬到哪儿」还不够还得有一条能灵活变形的通路把数据送过去。这里用的是一个蝶形拓扑的数据路由网络输入从左侧进入经过若干级二选一的开关可以到达右侧任意一个输出端口。每一级的开关由传输管实现控制信号由解码器实时产生。解码器吃什么吃比特掩码。它做两件核心操作前缀 pop 计数和左旋转补码。前者扫描掩码序列输出当前位置之前 1 的总数这决定了某个输入该去第几个输出后者是一个标准的左旋转操作唯一不同在于移位量以补码形式表示用来处理反向寻址的情况。两者一配合掩码就被翻译成一串控制比特逐级配置蝶形网络的通路。这个设计的好处是「配置一次路由一整个向量」。掩码在权重加载阶段就已经确定解码出来的控制信号可以复用不需要每个令牌都重算。整套流程是顺序的、确定性的没有数据依赖的分支所以功能正确性和时序收敛都比较容易保证。5.4 一颗 28 nm 验证芯片给出的数字这套协同设计不是纸上推演。有一版用 28 nm 互补金属氧化物半导体工艺流片的验证芯片工作频率最高 320 MHz总功耗 250.65 mW面积 3.93 mm²。在计入网络稀疏度之后峰值性能达到 3.3 TOPS面积效率约 0.85 TOPS/mm²。能效数字更值得看生成查询、键、值矩阵这一段能效达到 11.83 TOPS/W整体注意力部分做到 25.22 TOPS/W。这两个数字放在一起说明一件事——注意力模块本身参数少、算力密度低反而更容易跑出漂亮的能效真正吃资源的是那些稠密的全连接层也是存算一体和存内压缩要主攻的方向。要提醒的是这颗芯片是验证性质的面积和前面提到的「单芯粒 10 TOPS、200 MB 容量、计算面积 8 mm²、存储面积 300 mm²、算力密度 0.0325 TOPS/mm²」的估算不是一回事。前者用成熟工艺验证架构可行性后者是按更先进工艺推算的规模化形态。把两组数字放在一起比容易得出错误结论。真实的工程判断应该看在目标工艺下算力密度能否支撑模型规模接口带宽能否被芯粒数量摊薄。6. 什么时候该考虑存算一体什么时候别急着上判断该不该走这条路先问三个问题顺序不能乱。第一个问题你的瓶颈是不是搬数据。如果模型规模在几亿参数以内或者推理是离线批处理、对延迟不敏感那么带宽压力其实没那么大常规加速卡加优化过的批处理策略就能过得不错。存算一体的价值在「权重反复搬移」这个场景里才成立场景不对它带来的复杂度全是净亏。第二个问题你的模型能不能被压缩。存内压缩的前提是权重存在冗余且可剪。如果模型本身已经高度稠密、剪一点精度就崩那这套「稠密映射」的收益就要打折扣你实际拿到的可能只是存算一体本身的带宽优势而不是稀疏带来的额外能效。第三个问题你能不能承受软硬件协同的代价。存算一体不是一个即插即用的加速卡它要求算法侧的剪枝粒度、权重布局、量化精度都跟着硬件走。团队里得有既懂模型又懂电路的人来对齐否则流片回来发现映射方法和训练时的剪枝策略对不上那就是纯纯的翻车。场景建议理由十亿参数以上、在线推理、延迟敏感优先考虑权重搬移是主要开销收益最大模型权重可剪、稀疏率高且精度稳定优先考虑存内压缩能兑现成存储密度和能效小模型、边缘端单次推理谨慎评估带宽压力小架构复杂度不划算模型频繁微调、权重每轮都变谨慎评估权重固化在阵列里的优势用不上团队没有算法与电路协同能力暂缓映射不当会让硬件优势全部蒸发我自己的习惯是任何一次架构选型之前先把「每令牌要搬多少字节」和「片上能装多少权重」这两个数写在一张纸上。有一回我跳过这一步直接照着某份资料里的峰值能效数字做了方案等到评审时被问「你的模型放得下吗」才发现容量差了整整一个数量级前面两周的推演全部作废。从那以后我每次评估新架构都强制走一遍「先算容量、再算带宽、最后看能效」这个顺序一步都不省。这份资料里关于存边计算的映射方法、蝶形路由的实现细节以及那颗 28 nm 芯片的完整参数表值得对照着你的实际场景再读一遍。希望帮到你。本文还有配套的精品资源点击获取