10 月 12 到 15 日的 OCP 峰会上内存池化这件事换了姿势。过去一年所有人都在把 HBM 堆高这一回三星、SK 海力士、Astera Labs 三家不约而同转向 CXL 内存池化把每张卡独占的内存摊成一块机架级共享的池子。三家的数字一个比一个大可没有一家把延迟数据摆到桌上。我把他们的官方口径原样记下来再算一笔物理账。三份官方口径一个比一个大三星和 AMD 的联合演示是全场最重的一场。三星用 CMM-D 内存模块配 AMD 的服务器跑 agentic AI 推理。官方口径相比静态分配这套池化把首 token 延迟TTFT降 38%、有效吞吐提 3.3 倍。底座是 CXL 的 DCD 语义多台跑模型的服务器按需借内存、用完归还。三星还补了一句它在自家美国园区用 CMM-D 加了一层「L3.5 可组合内存」KV cache 利用率做到 5 到 7 倍。据 StorageReview 的报道这套演示没公布服务器配置、交换机拓扑也没给互连延迟和带宽。SK 海力士拿出的框架更大叫 MARS一套内存中心的机架级系统。官方新闻稿的说法是用 CXL 把内存从算力解耦做到机架级池化和跨 CPU、GPU 的零拷贝共享多轮 agentic 推理里把 KV cache 留在共享内存TTFT 改善 3 到 5 倍。配套的二代 CMM-DDR5 单条 256GB、带宽 80GB/s、CXL 3.2、能效再升三成。演示伙伴排了八个AMD、Marvell、Arcee、Liqid、Penguin、Xcena、Pickle、Naver Cloud。数字最大的是 Astera Labs9 月 15 日就发了。它的 Leo X 是一颗挂在 scale-up 结构上的内存控制器专门把 KV cache 和 agent 上下文卸出去配自家 Scorpio 交换机还不要求加速器支持 CXL.mem。官方实测TTFT 最多降 62%、token 吞吐最多涨 22%基准是四颗 H200 跑 Qwen2.5-32B 的多轮负载。上图三家 CXL 推理的 TTFT 改善口径全是厂商演示数据无独立第三方实测。数据来源各厂商官方发布2026-09/10。38%、3 到 5 倍、62%一个比一个大没有一个经过独立机构复测。往下挖就是延迟这条线。演示背后的物理账CXL 不替代 HBM它站在 HBM 和 SSD 之间是个容量层比本地 DRAM 便宜、容量大但更慢。有几笔已经落地的数。三星 7 月测过 1TB 的 CXL 池8 颗 GPU 扛 KV cache推理性能做到本地 DRAM 的约 92%这是三家里最接近独立验证的一笔。IEEE 一篇论文拿三星 CMM-D 配 vLLM 跑 Llama-3.1-8B在 122K token 输入下CXL 扛 KV cache 的吞吐是 GPU 显存的约 9 倍原因是显存根本装不下那么长的 KV cache。延迟的短板就藏在这些数字背后。Kioxia XL1 是 NAND 介质的 CXL 扩展设备实测 755ns 延迟比本地 DRAM 慢近一个数量级。哪怕 DRAM 介质的 CMM-D延迟也比本地 DRAM 高Marvell 那颗 CXL 3.0 交换机自己就要吃掉 460ns 以内的往返延迟。CXL 每一跳都在加延迟。上图CXL 内存池化的标准拓扑CPU 与 GPU 经交换机共享一块 DRAM 加 Flash 混合池按需挂载。这套拓扑买的是容量付的代价是延迟。它天然适合 KV cache、上下文这类量大但不那么在意延迟的东西。为什么内存墙现在才轮到 CXL 来解CXL 是 2019 年的标准2026 年底才密集起量根子在两个变化。GPU 算力每两年约三倍HBM 带宽每两年不到两倍剪刀差每年都在拉大。算力涨得快每颗芯片单位时间要摸的数据更多本地内存容量先顶不住。这是美光在 Hot Chips 上讲的 memory wall。推理的形态也变了。从单轮问答变成 agentic多轮、长上下文、多实例并发KV cache 从一次性缓存变成长期驻留的资产。三星那句「5 到 7 倍 KV cache 利用率」说的就是这块资产太占地方。两件事叠一起池化的账就成立了与其每台服务器按峰值配满昂贵本地内存不如一群服务器共享一个 CXL 池谁需要谁多借。上图GPU 算力每两年约 3 倍HBM 带宽不到 2 倍差距逐年拉大这是 CXL 池化被推上前台的底层原因。数据来源美光 memory wall 口径Hot Chips 2026。上图解内存墙的两条路HBM 堆高换带宽CXL 池化换容量两条路是分工。量产还卡在三层先卡在 CPU 生态。三星 CMM-D 的量产一再推迟7 月的报道已指向可能滑到 2027 年原因是 Intel 的 Diamond Rapids 平台延迟加 PCIe 6.0 生态不成熟。CPU 不动内存模块先动也没用。接着是交换机。Marvell 的 Structera S 30260 是 260 通道 CXL 3.0 交换机聚合带宽 4TB/s能挂 16 到 32 颗 CPU/GPU、撑 48TB 共享内存官方 demo 称 8 颗 GPU 共享 16TB 池、吞吐 4.8 倍。韩国的 Panmnesia 更激进Fusion Switch 一颗芯片同时吃 PCIe 6.4 和 CXL 3.2号称业界唯一实现 CXL 3.2 端口路由2026 下半年量产。还有国产链这条线。三星、SK 海力士、美光在收缩自研 CXL 控制器这个真空被澜起科技接住CXL 3.2 内存扩展控制器率先试产已进三星和 SK 海力士下一代产品PCIe Retimer 在客户验证。落地端也在动浪潮元脑服务器 7 月上了 CXL 2.0 混代扩展阿里云用 CXL 2.0 交换机做 PolarDB 分布式内存池。上图SK hynix OCP 2026 官方新闻稿原图MARS 内存中心机架主题2026-10-13来源news.skhynix.com。三层叠起来CXL 池化 2026 年从「PPT」走到「可跑可量化」真正成主流要等 CPU 生态和交换机全链打通业内普遍给到 2028 年。研究机构 TechInsight 的估算是CXL 到 2030 年占服务器 DRAM 约 15%。我判断我判断CXL 池化解决的是容量成本延迟上的短板它补不了。所以它只在 KV cache 这类延迟不敏感、容量敏感的负载上有意义换成权重和激活整套推理会慢下来。三家里我更看好 Astera 的路线。三星和 SK 海力士押在标准 CXL.mem 上被 CPU 生态和交换机卡着。Astera 的 Leo X 走 fabric-attached绕开「加速器必须支持 CXL.mem」这个前提落地更快。它那 62% 和 22% 同样是厂商口径但路线更务实。真正的胜负手不在数字在延迟和拓扑的公开。等哪家敢把 755ns 这类数字连同交换机拓扑一起摆上台那才说明它心里有底。在那之前CXL 内存池化是内存墙一条真实的路还停在「演示真香」到「量产可查」之间。觉得有收获点个在看转发给同样关注 AI 芯片和内存墙的人。参考来源SK hynix Newsroom《Memory-Centric Server Systems Are the Future》官方新闻稿2026-10Astera Labs 官方发布《Bolsters Leo Smart Memory Controller Family》2026-09-15StorageReview《Samsung CXL Memory Pooling Demo With AMD at OCP 2026》2026-10TrendForce《Samsung Showcases CXL Memory Expansion With AMD at OCP 2026》2026-10-13IEEE《LLM KV Cache Storage using CXL Memory》论文2026Marvell 官方博客《Structera S: Scaling the AI memory wall with CXL switching》2026-03每日更新。 
长河君 · 2026/11/4 7:18:49 · 阅读 1.2k 实录 | CXL 内存池化：三星与 AMD 同台，TTFT 降 38%，延迟没给
10 月 12 到 15 日的 OCP 峰会上内存池化这件事换了姿势。过去一年所有人都在把 HBM 堆高这一回三星、SK 海力士、Astera Labs 三家不约而同转向 CXL 内存池化把每张卡独占的内存摊成一块机架级共享的池子。三家的数字一个比一个大可没有一家把延迟数据摆到桌上。我把他们的官方口径原样记下来再算一笔物理账。三份官方口径一个比一个大三星和 AMD 的联合演示是全场最重的一场。三星用 CMM-D 内存模块配 AMD 的服务器跑 agentic AI 推理。官方口径相比静态分配这套池化把首 token 延迟TTFT降 38%、有效吞吐提 3.3 倍。底座是 CXL 的 DCD 语义多台跑模型的服务器按需借内存、用完归还。三星还补了一句它在自家美国园区用 CMM-D 加了一层「L3.5 可组合内存」KV cache 利用率做到 5 到 7 倍。据 StorageReview 的报道这套演示没公布服务器配置、交换机拓扑也没给互连延迟和带宽。SK 海力士拿出的框架更大叫 MARS一套内存中心的机架级系统。官方新闻稿的说法是用 CXL 把内存从算力解耦做到机架级池化和跨 CPU、GPU 的零拷贝共享多轮 agentic 推理里把 KV cache 留在共享内存TTFT 改善 3 到 5 倍。配套的二代 CMM-DDR5 单条 256GB、带宽 80GB/s、CXL 3.2、能效再升三成。演示伙伴排了八个AMD、Marvell、Arcee、Liqid、Penguin、Xcena、Pickle、Naver Cloud。数字最大的是 Astera Labs9 月 15 日就发了。它的 Leo X 是一颗挂在 scale-up 结构上的内存控制器专门把 KV cache 和 agent 上下文卸出去配自家 Scorpio 交换机还不要求加速器支持 CXL.mem。官方实测TTFT 最多降 62%、token 吞吐最多涨 22%基准是四颗 H200 跑 Qwen2.5-32B 的多轮负载。上图三家 CXL 推理的 TTFT 改善口径全是厂商演示数据无独立第三方实测。数据来源各厂商官方发布2026-09/10。38%、3 到 5 倍、62%一个比一个大没有一个经过独立机构复测。往下挖就是延迟这条线。演示背后的物理账CXL 不替代 HBM它站在 HBM 和 SSD 之间是个容量层比本地 DRAM 便宜、容量大但更慢。有几笔已经落地的数。三星 7 月测过 1TB 的 CXL 池8 颗 GPU 扛 KV cache推理性能做到本地 DRAM 的约 92%这是三家里最接近独立验证的一笔。IEEE 一篇论文拿三星 CMM-D 配 vLLM 跑 Llama-3.1-8B在 122K token 输入下CXL 扛 KV cache 的吞吐是 GPU 显存的约 9 倍原因是显存根本装不下那么长的 KV cache。延迟的短板就藏在这些数字背后。Kioxia XL1 是 NAND 介质的 CXL 扩展设备实测 755ns 延迟比本地 DRAM 慢近一个数量级。哪怕 DRAM 介质的 CMM-D延迟也比本地 DRAM 高Marvell 那颗 CXL 3.0 交换机自己就要吃掉 460ns 以内的往返延迟。CXL 每一跳都在加延迟。上图CXL 内存池化的标准拓扑CPU 与 GPU 经交换机共享一块 DRAM 加 Flash 混合池按需挂载。这套拓扑买的是容量付的代价是延迟。它天然适合 KV cache、上下文这类量大但不那么在意延迟的东西。为什么内存墙现在才轮到 CXL 来解CXL 是 2019 年的标准2026 年底才密集起量根子在两个变化。GPU 算力每两年约三倍HBM 带宽每两年不到两倍剪刀差每年都在拉大。算力涨得快每颗芯片单位时间要摸的数据更多本地内存容量先顶不住。这是美光在 Hot Chips 上讲的 memory wall。推理的形态也变了。从单轮问答变成 agentic多轮、长上下文、多实例并发KV cache 从一次性缓存变成长期驻留的资产。三星那句「5 到 7 倍 KV cache 利用率」说的就是这块资产太占地方。两件事叠一起池化的账就成立了与其每台服务器按峰值配满昂贵本地内存不如一群服务器共享一个 CXL 池谁需要谁多借。上图GPU 算力每两年约 3 倍HBM 带宽不到 2 倍差距逐年拉大这是 CXL 池化被推上前台的底层原因。数据来源美光 memory wall 口径Hot Chips 2026。上图解内存墙的两条路HBM 堆高换带宽CXL 池化换容量两条路是分工。量产还卡在三层先卡在 CPU 生态。三星 CMM-D 的量产一再推迟7 月的报道已指向可能滑到 2027 年原因是 Intel 的 Diamond Rapids 平台延迟加 PCIe 6.0 生态不成熟。CPU 不动内存模块先动也没用。接着是交换机。Marvell 的 Structera S 30260 是 260 通道 CXL 3.0 交换机聚合带宽 4TB/s能挂 16 到 32 颗 CPU/GPU、撑 48TB 共享内存官方 demo 称 8 颗 GPU 共享 16TB 池、吞吐 4.8 倍。韩国的 Panmnesia 更激进Fusion Switch 一颗芯片同时吃 PCIe 6.4 和 CXL 3.2号称业界唯一实现 CXL 3.2 端口路由2026 下半年量产。还有国产链这条线。三星、SK 海力士、美光在收缩自研 CXL 控制器这个真空被澜起科技接住CXL 3.2 内存扩展控制器率先试产已进三星和 SK 海力士下一代产品PCIe Retimer 在客户验证。落地端也在动浪潮元脑服务器 7 月上了 CXL 2.0 混代扩展阿里云用 CXL 2.0 交换机做 PolarDB 分布式内存池。上图SK hynix OCP 2026 官方新闻稿原图MARS 内存中心机架主题2026-10-13来源news.skhynix.com。三层叠起来CXL 池化 2026 年从「PPT」走到「可跑可量化」真正成主流要等 CPU 生态和交换机全链打通业内普遍给到 2028 年。研究机构 TechInsight 的估算是CXL 到 2030 年占服务器 DRAM 约 15%。我判断我判断CXL 池化解决的是容量成本延迟上的短板它补不了。所以它只在 KV cache 这类延迟不敏感、容量敏感的负载上有意义换成权重和激活整套推理会慢下来。三家里我更看好 Astera 的路线。三星和 SK 海力士押在标准 CXL.mem 上被 CPU 生态和交换机卡着。Astera 的 Leo X 走 fabric-attached绕开「加速器必须支持 CXL.mem」这个前提落地更快。它那 62% 和 22% 同样是厂商口径但路线更务实。真正的胜负手不在数字在延迟和拓扑的公开。等哪家敢把 755ns 这类数字连同交换机拓扑一起摆上台那才说明它心里有底。在那之前CXL 内存池化是内存墙一条真实的路还停在「演示真香」到「量产可查」之间。觉得有收获点个在看转发给同样关注 AI 芯片和内存墙的人。参考来源SK hynix Newsroom《Memory-Centric Server Systems Are the Future》官方新闻稿2026-10Astera Labs 官方发布《Bolsters Leo Smart Memory Controller Family》2026-09-15StorageReview《Samsung CXL Memory Pooling Demo With AMD at OCP 2026》2026-10TrendForce《Samsung Showcases CXL Memory Expansion With AMD at OCP 2026》2026-10-13IEEE《LLM KV Cache Storage using CXL Memory》论文2026Marvell 官方博客《Structera S: Scaling the AI memory wall with CXL switching》2026-03每日更新。