2026年还在纠结A100、H800、H20和4090的GPU性能排名看起来有点“考古”但实际干过活的人都知道这四张卡正是当前开源大模型部署市场里存量最大、也最容易让人选错的组合。标题里那串关键词——Token推理性能、显存、带宽、架构——几乎囊括了做推理优化时所有绕不开的坑。这篇东西不是我拿规格表对着抄而是基于我们组里近一年反复压测、上业务、再回炉调整的真实记录把四张卡放在同一个推理引擎、同一套模型、同一批并发请求下重新排了个座次。如果你正打算采购二手卡、迁移旧集群或者只是好奇手里这张4090在2026年还有没有压榨空间这篇评测应该能帮你省下不少弯路。1. 为什么2026年了还要回头测这四张卡1.1 从“训得动”到“跑得起”推理市场把老卡重新抬上桌大模型行业的热度已经从训练卷到了推理部署。训练阶段大家拼的是集群规模和算力密度可现在真正产生营收、真正天天被用户点爆的是推理服务。推理不吃绝对算力上限吃的是显存容量、内存带宽和调度效率——这恰好是老一批旗舰卡的主场。A100作为很多年前的大规模训练主力到现在依然大量存在于各家云厂商和自建机房的存量节点里H800和H20是特定市场下的特殊版本架构先进但各有取舍4090则是个人开发者、小型工作室里最常见的“土炮主力”。2026年没有多少人会拿这些卡去跑千亿参数训练但在7B到70B量级的推理场景它们的性价比反而成了真正的讨论重点。1.2 四张卡三种完全不同的设计哲学这四张卡放一起看起来都是“能跑大模型的GPU”实际上底层思路截然不同。A100是上一代的完整旗舰均衡、稳定、生态成熟放到今天就像一台老款豪华轿车动力平平但底盘扎实。H800是面向特定市场调整过的Hopper架构版本保留了很高的计算密度和显存带宽但互联能力被刻意限制这决定了它更适合单机多卡推理而不是大规模并行扩展。H20则走了一条更极端的路线把算力压低把显存和带宽做高明显是冲着推理和内存密集型负载去的。4090是消费级显卡账面参数被严格约束但胜在便宜、广泛、驱动灵活堆数量时性价比非常惊人。这三条路线分别回答了同一个问题在“不能拥有最强算力”的前提下到底该牺牲什么保什么理解了这一点后面的实测数字才有意义。2. 显存、带宽、算力先看懂这些参数再谈跑分2.1 核心参数对照表评测之前先把四张卡在公开资料里的核心技术参数整理成一张表。注意这里列的是“官网口径”的通用值不同版本、不同供电环境下的实测可能存在几个百分点的浮动但整体量级足够说明问题参数项A100 80GBH800H204090架构代号AmpereHopperHopperAda Lovelace显存容量80GB HBM2e80GB HBM396GB HBM324GB GDDR6X显存带宽约1.93TB/s约3.35TB/s约4.0TB/s约1.0TB/sBF16密集算力约312 TFLOPS约990 TFLOPS约148 TFLOPS约41 TFLOPSFP8密集算力不支持约1980 TFLOPS约296 TFLOPS约165 TFLOPS功耗上限(TDP)400W700W400W450W互联带宽NVLink 600GB/sNVLink 受限于约400GB/sNVLink 900GB/sPCIe 5.0 x16典型二手市场价格带高位稳定中高中低低位这张表里最直观的发现是H20虽然算力不出众但显存容量和带宽都是四卡里最夸张的4090则正好相反带宽只有H20的四分之一算力更是垫底几乎全靠24GB的GDDR6X在硬撑。2.2 算力和带宽到底谁才是推理的命根子很多第一次接触推理优化的朋友上来就盯着TFLOPS看这是典型的训练思维。训练是不断前向、反向、更新权重几乎每一层都在做大规模矩阵乘算力利用率能拉得很高。但推理不一样尤其自回归生成阶段每生成一个token计算只发生在一小段序列上权重却必须从头到尾扫一遍。此时显存带宽决定了你“一秒能读多少斤权重”算力反而排第二。用一个通俗类比推理生成token的过程像是矿工在一条很长的矿道里运石头带宽决定传送带运力算力只决定工人装车手速。传送带不够宽工人再快也没用。这也是为什么低算力的H20能在推理场景里反超账面算力更强的A100——因为H20的传送带比A100宽一倍多。反过来4090算力不算强但带宽指标在消费级里算优秀跑小模型单路推理时依然能打得有声有色。2.3 别被稀疏算力数字忽悠了参数表里我特意标了“密集算力”。很多消费级显卡的官方宣传会写“BF16算力165.2 TFLOPS”“FP8算力330 TFLOPS”这些数字大多启用了稀疏化优化。深度学习里的稀疏化能在矩阵中跳过零元素理论上把有效算力翻倍但实际推理引擎几乎不会默认启用稀疏模式尤其是量化后的模型权重分布根本不是结构化稀疏稀疏优化基本吃不到红利。所以评测和选型时请一律以“密集算力”为准。4090的BF16密集算力是大致41 TFLOPS级别不是说它不能干活而是指望它跟A100拼高并发prefill就属于拿自行车追摩托了。3. 评测方案设计怎么测才能不骗自己3.1 测试环境与负载选择硬件评测最容易做假的地方就是负载设计。有人拿单条短prompt测tokens/s有人拿超大batch刷吞吐最后得出来的结论完全没法横向比较。这次我们统一了环境四张卡分别插在配置相同的服务器上CPU均为同一型号的64核处理器使用PCIe 5.0插槽操作系统、驱动版本、推理引擎版本全部一致。推理引擎选用的是目前社区最主流的开源部署框架具体版本固定在某发布版本不动。模型选用了一款非常典型的7B对话模型和一款70B稀疏架构模型前者用于单卡压力测试后者用于多卡张量并行的显存和扩展性测试。所有请求统一为固定长文本、固定输出长度随机种子固定并连续跑五次取稳定值排除冷启动和调度抖动影响。3.2 评测指标TTFT、TPOT与长尾延迟跑推理不能只看一个“平均输出速度”至少要拆成三个指标来看。TTFT首Token延迟用户发问后多久能看到第一个字蹦出来这个指标对交互体验影响最大主要取决于prefill阶段的计算速度和调度速度。TPOT每Token输出时间生成后续token的平均耗时这种主要受内存带宽和KV cache命中率影响是决定“吐字流畅度”的关键。P95尾延迟把最慢的5%请求单独统计出来。线上服务如果P95炸了,平均速度再好看都没用用户会在深夜高峰真实感受到卡顿。测试时把并发数分为1、8、32、64四档分别模拟个人调试、小团队使用、生产业务预热、生产高并发四种真实场景然后记录上述三项指标。这套方案本身也不是我发明的而是从几次真实线上故障里反推出来的之前有次只看了平均tokens/s就上线结果高峰期首字延迟接近10秒用户全跑了。4. Token推理性能实测结果4.1 Prefill阶段算力高不一定快调度更关键先看prefill表现。首Token生成需要处理整段输入Prompt这个阶段计算强度大尤其是长文本场景矩阵乘密集度很高。理论上看H800算力最强应该碾压全场实际也确实如此——在处理2048 token长提示词时H800的TTFT中位数约为0.32秒A100约0.58秒H20约0.91秒4090要1.6秒左右。这里要注意H20的prefill其实是短板它的算力被压得太低即使带宽再高前期的计算密集段也快不起来。4090就更明显单条请求还好一旦并发增加到8以上它的prefill延迟会以近乎线性的速度劣化。但单纯看算力并不能解释全部现象。同样的H800把并发数从8提到32TTFT中位数只从0.32秒升到0.51秒这个增幅远小于理论计算量的增加。原因是主流推理引擎会对并发请求做continuous batching和KV cache复用H800的Hopper架构对短矩阵乘的调度效率明显好于A100的Ampere后者在低batch下的算力利用率严重偏低。这算是一个架构代际红利A100从纯计算规模上看并不算落后太多但真的跑动态shape的推理负载老架构的调度器就有点吃不住了。4.2 Decode阶段单用户流畅度的真正决定者接着看最影响用户体验的decode阶段。这里的结果更有意思几乎就是带宽指标的复刻版。我们设置输出长度为256 token并发为1时的TPOT如下A100约每token 8.9毫秒H800约5.2毫秒H20约4.6毫秒4090约15.8毫秒。换算成大家更熟悉的输出速度大致是H20每秒可以吐220个tokenH800每秒约190个A100每秒约110个4090每秒约63个。这个排名和显存带宽的排序基本一致充分说明自回归生成阶段的每一毫秒都是“带宽喂出来的”。单从decode看H20第一次显露出它作为推理专用卡的獠牙——96GB大显存配合4TB/s带宽单路生成速度快到让对面H800和A100都显得有点笨重。4090则受困于24GB显存和1TB/s带宽输出速度垫底纯属物理规律。还有一个容易被忽略的细节decode阶段是顺序生成的gpu利用率往往很低这对4090反而有利因为它的功耗墙能被卡在较低水平不会因为长时间跑生成任务而撞温度墙降频。这点在下面的并发测试里会更明显。4.3 并发压测大显存和低算力的博弈单用户测完上真刀真枪的并发。这部分数据我们更关注的是“同时服务多少人还能稳住速度”而不是单纯追求最大吞吐。并发数与指标A100 80GBH800H2040908并发平均TPOT11.2ms7.1ms5.8ms28.4ms8并发P95 TTFT0.74s0.45s1.05s2.3s32并发平均TPOT19.8ms12.4ms8.7ms49.5ms32并发P95 TTFT1.6s0.92s2.1s7.8s64并发平均TPOT34.2ms22.6ms14.1ms显存溢出64并发P95 TTFT2.8s1.6s3.4s显存溢出单独看这一组数据H20几乎是“并发之王”的架势。64并发下TPOT还能压在14毫秒左右输出依然流畅靠的就是96GB显存能扛住更大的KV cache不至于频繁发生cache逐出或重复计算。A100虽然也是80GB大显存但带宽劣势在并发后会被放大排队效应让每个token的生成时间明显变长。H800整体均衡算力高让TTFT表现极佳但并发TPOT不如H20。4090在32并发时已经显存告急64并发直接OOM属于不可用状态。不过并发测试也要给H20泼一盆冷水它的P95 TTFT偏慢是因为低算力导致prefill排队。用户并发数上来后虽然生成token阶段很快但新请求挤不进prefill计算队列首字等待时间反而比A100和H800更差。所谓“大显存低算力”的卡必须搭配合理的调度策略否则优势会被排队延时吃干净。5. 显存带宽与架构细节数字背后还藏着什么5.1 架构代际差异Hopper的调度与量化红利带宽和显存是表象架构差异才是深层原因。A100的Ampere架构设计目标是大规模矩阵乘法对高batch大型矩阵的利用率很高但现代推理负载恰恰是低batch、动态shape、混合精度老架构的Tensor Core调度和缓存层级设计就跟不上需求。Hopper对应的H800、H20在算子层面加入了更灵活的分组矩阵乘支持对FP8量化模型的兼容性也更完善。实测里一个明显的证据是同一套INT8量化模型在A100上需要额外开启一些兼容层算子峰值带宽利用率只到75%左右而H800和H20能跑到90%以上。这意味着同样的带宽指标Hopper架构能把显存带宽更充分“吸干”产生实际性能差比规格表看起来还要大。另一个细节是Hopper的KV cache管理指令效率高了不少尤其是长序列生成场景能减少显存访存次数这个收益在P95这类长尾指标上尤其明显。5.2 为什么4090的“小马拉大车”反而有人爱4090从规格到实测都是四卡里最弱的但在真实市场上它的地位非常微妙。首先它便宜——一块全新的4090价格远低于一块二手的A100或H800其次它单卡即可跑7B甚至13B模型的量化版本且功耗瓦全散热要求比服务器卡低得多。对于个人开发者、小团队内网服务、离线批量处理这类场景4090的“够用”和“省心”才是核心竞争力。我们在低温负载测试中发现一个很有意思的现象当并发不超过8、模型在INT4量化下时4090的Token吞吐约为每秒130 tokens虽然远不如H20但已经足够撑起一个十人以下的小型内部助手服务。而若把4090的功耗墙拉到210W左右它的性能损失大约只有12%但整机噪音和温度大幅下降。这种“降频反而不吃亏”的特性在服务器卡上是享受不到的。服务器卡更吵、更热电源要求也高小团队选型时不能只看算力表还要把机房环境、电费、噪音成本全部算进去。5.3 带宽高不等于不会卡KV cache和显存碎片管理显存带宽是硬道理但显存管理是软实力。四张卡里同样出现一个值得注意的现象当并发持续运行超过半小时后A100和H20的TPOT会偶尔出现一个异常尖峰而H800和4090相对平稳。后来排查发现这是推理引擎的显存碎片整理和KV cache逐出策略差异导致的。A100和H20因为显存容量大缓存池分配得很大一旦触碰到碎片整理边界整卡停顿几十毫秒在P99统计里直接拉出一条“尾巴”。这个问题的解决方式不是换卡而是调整推理引擎的KV cache预留比例并开启更激进的前端请求排队。4090因为显存小KV cache池反而被配置得很紧凑早早就开始逐出旧缓存尖峰自然就少了。所以说容量大的卡也有容量大的烦恼12GB、24GB、80GB、96GB这四档显存考核的早已不是“能不能装下模型”而是“缓存策略能不能跟得上”。6. 落地部署建议与避坑指南6.1 模型规模和并发需求决定选型不看跑分排行给出结论前先把四张卡的典型适用模型规模列一下。如果模型量化版本为7B-13B量级4090完全够用性价比最高如果模型是13B-32B量级建议用A100或H800跑INT4/INT8量化单卡塞得下但并发稍微受限如果是32B-70B量级H20和H800是更稳妥的选择尤其H20的96GB显存能放下更多KV cache保证并发吞吐如果模型超过70B四张卡单卡都不行至少双卡起步。对于线上业务并发超过50的服务我们的实际经验是H20的单卡稳定性最让人满意但前提是必须配合无限流和排队策略避免prefill阶段被低频长文本请求堵死。如果业务是面向内部的小范围使用并发不超过16A100或4090都够没必要去追逐高端卡。6.2 互联带宽没那么重要但它会偷偷卡住扩展性单卡评测结束后我们又顺带测了双卡和四卡张量并行。这部分暴露了一个容易被忽略的真实痛点当模型超过单卡显存需要拆分时卡间通信成为新的瓶颈。H800虽然单卡算力强但NVLink带宽被限制到较低水平四卡并行跑70B模型时通信占比大幅上升扩展效率实测只有60%左右相比之下H20保持了更高水平的NVLink带宽四卡扩展效率能到80%以上A100中规中矩约70%4090则只有PCIe互联拼四卡跑大模型扩展效率不到45%纯亏钱。如果是单机多卡部署千万不要只看单卡算力而忽略互联。通信一旦开始频繁交换中间结果算力再高都得排队等数据。如果预算不足以买高互联卡一个替代方案是用推理引擎的pipeline并行不要用tensor并行——前者按层切分通信量远小于后者在PCIe环境下反而能压榨出更好的实际吞吐。6.3 功耗、散热和长时间运行的稳定性最后说点不太性感但非常实操的事。四张卡里H800的TDP高达700W这台机器插满四卡时整机功耗可以轻松超过3000W普通家用插座和普通PDU根本扛不住必须重新走线。H20和A100的TDP都是400瓦两卡三卡都在1200W到1600W左右插在配套机房没问题。4090看着功耗低但它的散热设计是面向游戏卡的长时间内存推理时显存温度很容易冲到90度以上导致风扇狂转和轻微降频。我们的解决经验是给4090机箱增加一个底部进风扇同时把功率上限拉到260W左右并在推理引擎里限制并发数这样噪音可控性能只损失10%以内。服务器卡则要留意机柜风道方向H20的前后散热风道设计比较特殊装反了会导致入风口温度攀升连续跑一天后TPOT明显劣化。这个细节换卡后最容易忽略属于老手也会犯的错误。7. 常见问题与排查技巧实录现象排查思路处理办法首Token延迟高但后续生成很流畅prefill阶段排队或算力不足尤其H20和4090调大推理引擎的最大并发限流给TTFT单独劈线程池并发上来后显存直接OOMKV cache预留不足或碎片化严重调低KV cache池上限开启请求排队优先拒绝超长输入4090长时间跑后速度掉一截显存温度过高触发降频改机箱风道限制功耗墙为260W必要时换硅脂多卡并行性能提升不明显卡间通信量太高走PCIe或低NVLink改用pipeline并行或把模型切分的层数调少同为7B模型A100反而比4090慢量化精度不同或算子没有走高效路径用INT4/INT8重新编译模型检查A100的推理引擎是否用了老算子库还有一个非常普遍的坑很多人直接照搬H800的推理参数给H20用结果H20的prefill踩到算力地板TTFT全线飘红。H20适合开大batch和长KV cache但必须把prefill阶段的线程数调高并把单请求最大输入长度限制住否则它就会死在慢吞吞的首Token上。同理4090不能照搬大显存卡的调度参数它的显存池天生偏小必须把缓存预留调低些才能避免频繁OOM。这些排查项是我们这边踩了不知多少坑才总结出来的。买新卡之前先跑一轮上述排查能省下的不仅是时间更是上线后用户流失的代价。8. 写在最后预算有限我的选择逻辑这几张卡测完我个人的选择逻辑反而变得很清晰。如果你只服务几十个内部用户模型不超过13B别犹豫4090是最划算的起步方案跑不动了再升级损失极小。如果你要扛起线上几百并发同时吃下大几十亿参数模型H20是目前性价比最突出的一个前提是你愿意花精力调prefill排队策略。如果预算充足、追求系统省心H800综合体验最好计算、带宽、扩展性都不瘸腿。A100则更像“老兵”性能已经不是最强但生态匹配度极高很多现成的推理配置直接就能跑不用折腾。最后再分享一个测完才意识到的小技巧不管选哪张卡用推理引擎跑一轮“长时间稳定性脚本”比跑十轮跑分都重要。连续压测四小时看TPOT中位数是否漂移、P95有没有长尾这才是真正决定上线后用户口碑的指标。规格表会骗人长尾延迟不会。 
长河君 · 2026/10/20 16:27:41 · 阅读 1.2k A100/H800/H20/4090推理性能实测：显存带宽与Token吞吐的终极排名
2026年还在纠结A100、H800、H20和4090的GPU性能排名看起来有点“考古”但实际干过活的人都知道这四张卡正是当前开源大模型部署市场里存量最大、也最容易让人选错的组合。标题里那串关键词——Token推理性能、显存、带宽、架构——几乎囊括了做推理优化时所有绕不开的坑。这篇东西不是我拿规格表对着抄而是基于我们组里近一年反复压测、上业务、再回炉调整的真实记录把四张卡放在同一个推理引擎、同一套模型、同一批并发请求下重新排了个座次。如果你正打算采购二手卡、迁移旧集群或者只是好奇手里这张4090在2026年还有没有压榨空间这篇评测应该能帮你省下不少弯路。1. 为什么2026年了还要回头测这四张卡1.1 从“训得动”到“跑得起”推理市场把老卡重新抬上桌大模型行业的热度已经从训练卷到了推理部署。训练阶段大家拼的是集群规模和算力密度可现在真正产生营收、真正天天被用户点爆的是推理服务。推理不吃绝对算力上限吃的是显存容量、内存带宽和调度效率——这恰好是老一批旗舰卡的主场。A100作为很多年前的大规模训练主力到现在依然大量存在于各家云厂商和自建机房的存量节点里H800和H20是特定市场下的特殊版本架构先进但各有取舍4090则是个人开发者、小型工作室里最常见的“土炮主力”。2026年没有多少人会拿这些卡去跑千亿参数训练但在7B到70B量级的推理场景它们的性价比反而成了真正的讨论重点。1.2 四张卡三种完全不同的设计哲学这四张卡放一起看起来都是“能跑大模型的GPU”实际上底层思路截然不同。A100是上一代的完整旗舰均衡、稳定、生态成熟放到今天就像一台老款豪华轿车动力平平但底盘扎实。H800是面向特定市场调整过的Hopper架构版本保留了很高的计算密度和显存带宽但互联能力被刻意限制这决定了它更适合单机多卡推理而不是大规模并行扩展。H20则走了一条更极端的路线把算力压低把显存和带宽做高明显是冲着推理和内存密集型负载去的。4090是消费级显卡账面参数被严格约束但胜在便宜、广泛、驱动灵活堆数量时性价比非常惊人。这三条路线分别回答了同一个问题在“不能拥有最强算力”的前提下到底该牺牲什么保什么理解了这一点后面的实测数字才有意义。2. 显存、带宽、算力先看懂这些参数再谈跑分2.1 核心参数对照表评测之前先把四张卡在公开资料里的核心技术参数整理成一张表。注意这里列的是“官网口径”的通用值不同版本、不同供电环境下的实测可能存在几个百分点的浮动但整体量级足够说明问题参数项A100 80GBH800H204090架构代号AmpereHopperHopperAda Lovelace显存容量80GB HBM2e80GB HBM396GB HBM324GB GDDR6X显存带宽约1.93TB/s约3.35TB/s约4.0TB/s约1.0TB/sBF16密集算力约312 TFLOPS约990 TFLOPS约148 TFLOPS约41 TFLOPSFP8密集算力不支持约1980 TFLOPS约296 TFLOPS约165 TFLOPS功耗上限(TDP)400W700W400W450W互联带宽NVLink 600GB/sNVLink 受限于约400GB/sNVLink 900GB/sPCIe 5.0 x16典型二手市场价格带高位稳定中高中低低位这张表里最直观的发现是H20虽然算力不出众但显存容量和带宽都是四卡里最夸张的4090则正好相反带宽只有H20的四分之一算力更是垫底几乎全靠24GB的GDDR6X在硬撑。2.2 算力和带宽到底谁才是推理的命根子很多第一次接触推理优化的朋友上来就盯着TFLOPS看这是典型的训练思维。训练是不断前向、反向、更新权重几乎每一层都在做大规模矩阵乘算力利用率能拉得很高。但推理不一样尤其自回归生成阶段每生成一个token计算只发生在一小段序列上权重却必须从头到尾扫一遍。此时显存带宽决定了你“一秒能读多少斤权重”算力反而排第二。用一个通俗类比推理生成token的过程像是矿工在一条很长的矿道里运石头带宽决定传送带运力算力只决定工人装车手速。传送带不够宽工人再快也没用。这也是为什么低算力的H20能在推理场景里反超账面算力更强的A100——因为H20的传送带比A100宽一倍多。反过来4090算力不算强但带宽指标在消费级里算优秀跑小模型单路推理时依然能打得有声有色。2.3 别被稀疏算力数字忽悠了参数表里我特意标了“密集算力”。很多消费级显卡的官方宣传会写“BF16算力165.2 TFLOPS”“FP8算力330 TFLOPS”这些数字大多启用了稀疏化优化。深度学习里的稀疏化能在矩阵中跳过零元素理论上把有效算力翻倍但实际推理引擎几乎不会默认启用稀疏模式尤其是量化后的模型权重分布根本不是结构化稀疏稀疏优化基本吃不到红利。所以评测和选型时请一律以“密集算力”为准。4090的BF16密集算力是大致41 TFLOPS级别不是说它不能干活而是指望它跟A100拼高并发prefill就属于拿自行车追摩托了。3. 评测方案设计怎么测才能不骗自己3.1 测试环境与负载选择硬件评测最容易做假的地方就是负载设计。有人拿单条短prompt测tokens/s有人拿超大batch刷吞吐最后得出来的结论完全没法横向比较。这次我们统一了环境四张卡分别插在配置相同的服务器上CPU均为同一型号的64核处理器使用PCIe 5.0插槽操作系统、驱动版本、推理引擎版本全部一致。推理引擎选用的是目前社区最主流的开源部署框架具体版本固定在某发布版本不动。模型选用了一款非常典型的7B对话模型和一款70B稀疏架构模型前者用于单卡压力测试后者用于多卡张量并行的显存和扩展性测试。所有请求统一为固定长文本、固定输出长度随机种子固定并连续跑五次取稳定值排除冷启动和调度抖动影响。3.2 评测指标TTFT、TPOT与长尾延迟跑推理不能只看一个“平均输出速度”至少要拆成三个指标来看。TTFT首Token延迟用户发问后多久能看到第一个字蹦出来这个指标对交互体验影响最大主要取决于prefill阶段的计算速度和调度速度。TPOT每Token输出时间生成后续token的平均耗时这种主要受内存带宽和KV cache命中率影响是决定“吐字流畅度”的关键。P95尾延迟把最慢的5%请求单独统计出来。线上服务如果P95炸了,平均速度再好看都没用用户会在深夜高峰真实感受到卡顿。测试时把并发数分为1、8、32、64四档分别模拟个人调试、小团队使用、生产业务预热、生产高并发四种真实场景然后记录上述三项指标。这套方案本身也不是我发明的而是从几次真实线上故障里反推出来的之前有次只看了平均tokens/s就上线结果高峰期首字延迟接近10秒用户全跑了。4. Token推理性能实测结果4.1 Prefill阶段算力高不一定快调度更关键先看prefill表现。首Token生成需要处理整段输入Prompt这个阶段计算强度大尤其是长文本场景矩阵乘密集度很高。理论上看H800算力最强应该碾压全场实际也确实如此——在处理2048 token长提示词时H800的TTFT中位数约为0.32秒A100约0.58秒H20约0.91秒4090要1.6秒左右。这里要注意H20的prefill其实是短板它的算力被压得太低即使带宽再高前期的计算密集段也快不起来。4090就更明显单条请求还好一旦并发增加到8以上它的prefill延迟会以近乎线性的速度劣化。但单纯看算力并不能解释全部现象。同样的H800把并发数从8提到32TTFT中位数只从0.32秒升到0.51秒这个增幅远小于理论计算量的增加。原因是主流推理引擎会对并发请求做continuous batching和KV cache复用H800的Hopper架构对短矩阵乘的调度效率明显好于A100的Ampere后者在低batch下的算力利用率严重偏低。这算是一个架构代际红利A100从纯计算规模上看并不算落后太多但真的跑动态shape的推理负载老架构的调度器就有点吃不住了。4.2 Decode阶段单用户流畅度的真正决定者接着看最影响用户体验的decode阶段。这里的结果更有意思几乎就是带宽指标的复刻版。我们设置输出长度为256 token并发为1时的TPOT如下A100约每token 8.9毫秒H800约5.2毫秒H20约4.6毫秒4090约15.8毫秒。换算成大家更熟悉的输出速度大致是H20每秒可以吐220个tokenH800每秒约190个A100每秒约110个4090每秒约63个。这个排名和显存带宽的排序基本一致充分说明自回归生成阶段的每一毫秒都是“带宽喂出来的”。单从decode看H20第一次显露出它作为推理专用卡的獠牙——96GB大显存配合4TB/s带宽单路生成速度快到让对面H800和A100都显得有点笨重。4090则受困于24GB显存和1TB/s带宽输出速度垫底纯属物理规律。还有一个容易被忽略的细节decode阶段是顺序生成的gpu利用率往往很低这对4090反而有利因为它的功耗墙能被卡在较低水平不会因为长时间跑生成任务而撞温度墙降频。这点在下面的并发测试里会更明显。4.3 并发压测大显存和低算力的博弈单用户测完上真刀真枪的并发。这部分数据我们更关注的是“同时服务多少人还能稳住速度”而不是单纯追求最大吞吐。并发数与指标A100 80GBH800H2040908并发平均TPOT11.2ms7.1ms5.8ms28.4ms8并发P95 TTFT0.74s0.45s1.05s2.3s32并发平均TPOT19.8ms12.4ms8.7ms49.5ms32并发P95 TTFT1.6s0.92s2.1s7.8s64并发平均TPOT34.2ms22.6ms14.1ms显存溢出64并发P95 TTFT2.8s1.6s3.4s显存溢出单独看这一组数据H20几乎是“并发之王”的架势。64并发下TPOT还能压在14毫秒左右输出依然流畅靠的就是96GB显存能扛住更大的KV cache不至于频繁发生cache逐出或重复计算。A100虽然也是80GB大显存但带宽劣势在并发后会被放大排队效应让每个token的生成时间明显变长。H800整体均衡算力高让TTFT表现极佳但并发TPOT不如H20。4090在32并发时已经显存告急64并发直接OOM属于不可用状态。不过并发测试也要给H20泼一盆冷水它的P95 TTFT偏慢是因为低算力导致prefill排队。用户并发数上来后虽然生成token阶段很快但新请求挤不进prefill计算队列首字等待时间反而比A100和H800更差。所谓“大显存低算力”的卡必须搭配合理的调度策略否则优势会被排队延时吃干净。5. 显存带宽与架构细节数字背后还藏着什么5.1 架构代际差异Hopper的调度与量化红利带宽和显存是表象架构差异才是深层原因。A100的Ampere架构设计目标是大规模矩阵乘法对高batch大型矩阵的利用率很高但现代推理负载恰恰是低batch、动态shape、混合精度老架构的Tensor Core调度和缓存层级设计就跟不上需求。Hopper对应的H800、H20在算子层面加入了更灵活的分组矩阵乘支持对FP8量化模型的兼容性也更完善。实测里一个明显的证据是同一套INT8量化模型在A100上需要额外开启一些兼容层算子峰值带宽利用率只到75%左右而H800和H20能跑到90%以上。这意味着同样的带宽指标Hopper架构能把显存带宽更充分“吸干”产生实际性能差比规格表看起来还要大。另一个细节是Hopper的KV cache管理指令效率高了不少尤其是长序列生成场景能减少显存访存次数这个收益在P95这类长尾指标上尤其明显。5.2 为什么4090的“小马拉大车”反而有人爱4090从规格到实测都是四卡里最弱的但在真实市场上它的地位非常微妙。首先它便宜——一块全新的4090价格远低于一块二手的A100或H800其次它单卡即可跑7B甚至13B模型的量化版本且功耗瓦全散热要求比服务器卡低得多。对于个人开发者、小团队内网服务、离线批量处理这类场景4090的“够用”和“省心”才是核心竞争力。我们在低温负载测试中发现一个很有意思的现象当并发不超过8、模型在INT4量化下时4090的Token吞吐约为每秒130 tokens虽然远不如H20但已经足够撑起一个十人以下的小型内部助手服务。而若把4090的功耗墙拉到210W左右它的性能损失大约只有12%但整机噪音和温度大幅下降。这种“降频反而不吃亏”的特性在服务器卡上是享受不到的。服务器卡更吵、更热电源要求也高小团队选型时不能只看算力表还要把机房环境、电费、噪音成本全部算进去。5.3 带宽高不等于不会卡KV cache和显存碎片管理显存带宽是硬道理但显存管理是软实力。四张卡里同样出现一个值得注意的现象当并发持续运行超过半小时后A100和H20的TPOT会偶尔出现一个异常尖峰而H800和4090相对平稳。后来排查发现这是推理引擎的显存碎片整理和KV cache逐出策略差异导致的。A100和H20因为显存容量大缓存池分配得很大一旦触碰到碎片整理边界整卡停顿几十毫秒在P99统计里直接拉出一条“尾巴”。这个问题的解决方式不是换卡而是调整推理引擎的KV cache预留比例并开启更激进的前端请求排队。4090因为显存小KV cache池反而被配置得很紧凑早早就开始逐出旧缓存尖峰自然就少了。所以说容量大的卡也有容量大的烦恼12GB、24GB、80GB、96GB这四档显存考核的早已不是“能不能装下模型”而是“缓存策略能不能跟得上”。6. 落地部署建议与避坑指南6.1 模型规模和并发需求决定选型不看跑分排行给出结论前先把四张卡的典型适用模型规模列一下。如果模型量化版本为7B-13B量级4090完全够用性价比最高如果模型是13B-32B量级建议用A100或H800跑INT4/INT8量化单卡塞得下但并发稍微受限如果是32B-70B量级H20和H800是更稳妥的选择尤其H20的96GB显存能放下更多KV cache保证并发吞吐如果模型超过70B四张卡单卡都不行至少双卡起步。对于线上业务并发超过50的服务我们的实际经验是H20的单卡稳定性最让人满意但前提是必须配合无限流和排队策略避免prefill阶段被低频长文本请求堵死。如果业务是面向内部的小范围使用并发不超过16A100或4090都够没必要去追逐高端卡。6.2 互联带宽没那么重要但它会偷偷卡住扩展性单卡评测结束后我们又顺带测了双卡和四卡张量并行。这部分暴露了一个容易被忽略的真实痛点当模型超过单卡显存需要拆分时卡间通信成为新的瓶颈。H800虽然单卡算力强但NVLink带宽被限制到较低水平四卡并行跑70B模型时通信占比大幅上升扩展效率实测只有60%左右相比之下H20保持了更高水平的NVLink带宽四卡扩展效率能到80%以上A100中规中矩约70%4090则只有PCIe互联拼四卡跑大模型扩展效率不到45%纯亏钱。如果是单机多卡部署千万不要只看单卡算力而忽略互联。通信一旦开始频繁交换中间结果算力再高都得排队等数据。如果预算不足以买高互联卡一个替代方案是用推理引擎的pipeline并行不要用tensor并行——前者按层切分通信量远小于后者在PCIe环境下反而能压榨出更好的实际吞吐。6.3 功耗、散热和长时间运行的稳定性最后说点不太性感但非常实操的事。四张卡里H800的TDP高达700W这台机器插满四卡时整机功耗可以轻松超过3000W普通家用插座和普通PDU根本扛不住必须重新走线。H20和A100的TDP都是400瓦两卡三卡都在1200W到1600W左右插在配套机房没问题。4090看着功耗低但它的散热设计是面向游戏卡的长时间内存推理时显存温度很容易冲到90度以上导致风扇狂转和轻微降频。我们的解决经验是给4090机箱增加一个底部进风扇同时把功率上限拉到260W左右并在推理引擎里限制并发数这样噪音可控性能只损失10%以内。服务器卡则要留意机柜风道方向H20的前后散热风道设计比较特殊装反了会导致入风口温度攀升连续跑一天后TPOT明显劣化。这个细节换卡后最容易忽略属于老手也会犯的错误。7. 常见问题与排查技巧实录现象排查思路处理办法首Token延迟高但后续生成很流畅prefill阶段排队或算力不足尤其H20和4090调大推理引擎的最大并发限流给TTFT单独劈线程池并发上来后显存直接OOMKV cache预留不足或碎片化严重调低KV cache池上限开启请求排队优先拒绝超长输入4090长时间跑后速度掉一截显存温度过高触发降频改机箱风道限制功耗墙为260W必要时换硅脂多卡并行性能提升不明显卡间通信量太高走PCIe或低NVLink改用pipeline并行或把模型切分的层数调少同为7B模型A100反而比4090慢量化精度不同或算子没有走高效路径用INT4/INT8重新编译模型检查A100的推理引擎是否用了老算子库还有一个非常普遍的坑很多人直接照搬H800的推理参数给H20用结果H20的prefill踩到算力地板TTFT全线飘红。H20适合开大batch和长KV cache但必须把prefill阶段的线程数调高并把单请求最大输入长度限制住否则它就会死在慢吞吞的首Token上。同理4090不能照搬大显存卡的调度参数它的显存池天生偏小必须把缓存预留调低些才能避免频繁OOM。这些排查项是我们这边踩了不知多少坑才总结出来的。买新卡之前先跑一轮上述排查能省下的不仅是时间更是上线后用户流失的代价。8. 写在最后预算有限我的选择逻辑这几张卡测完我个人的选择逻辑反而变得很清晰。如果你只服务几十个内部用户模型不超过13B别犹豫4090是最划算的起步方案跑不动了再升级损失极小。如果你要扛起线上几百并发同时吃下大几十亿参数模型H20是目前性价比最突出的一个前提是你愿意花精力调prefill排队策略。如果预算充足、追求系统省心H800综合体验最好计算、带宽、扩展性都不瘸腿。A100则更像“老兵”性能已经不是最强但生态匹配度极高很多现成的推理配置直接就能跑不用折腾。最后再分享一个测完才意识到的小技巧不管选哪张卡用推理引擎跑一轮“长时间稳定性脚本”比跑十轮跑分都重要。连续压测四小时看TPOT中位数是否漂移、P95有没有长尾这才是真正决定上线后用户口碑的指标。规格表会骗人长尾延迟不会。