简介这份文档面向人工智能研究人员、从业者及关注大模型竞争格局的团队系统梳理DeepSeek与OpenAI在技术路线、应用场景与市场定位上的异同可用于学术对比研究或企业战略规划参考。内容从两家公司的成立背景与愿景切入重点比较DeepSeek R1与OpenAI o1的模型能力涵盖数学逻辑推理与自然语言处理两类任务的基准表现并延伸至医疗、金融、教育、内容创作、智能客服、编码辅助等落地场景同时讨论开源与商业化两种路径下的定价策略和可访问性差异最后展望多模态推理、可解释性与情境学习等未来方向。资源包共1个docx文件约19KB以结构化文字形式呈现对比分析便于检索与引用。目前已有528人学习适合希望快速建立两家AI公司整体认知、把握行业竞争态势的读者查阅。1. 两份模型摆在面前先别急着选边站上周有个做医疗数据分析的朋友甩过来一张截图AIME 2024 上 DeepSeek R1 拿了 79.8%OpenAI o1 是 79.2%他问我是不是可以把手里的 API 全切过去。我没直接回答而是让他把 MATH-500 和 MMLU 的数字也拉出来看——97.3% 对 96.4%91.8% 对略低一点。三组数字摆在一起结论其实很清楚推理类任务上两者咬得很紧通用语言理解上 o1 还留着一点身位。这份对比资料的价值就在这儿它把技术路径、应用场景、定价、开源许可几条线拆开摆平让你能按自己的任务类型去对号而不是被单一跑分带着走。适合谁正在做模型选型的技术负责人、要写方案对比的从业者以及想搞清楚「开源 MIT」和「订阅制 API」到底差在哪的开发者。下面我按自己拆这类资料的习惯把能直接抄的部分和容易翻车的地方分开讲。2. 技术路径拆解R1 的纯强化学习与 o1 的思维链加长2.1 两条路线差在哪先看训练方法资料里有一句话信息量很大DeepSeek R1「直接将强化学习应用于基础模型无需依赖监督微调和已标注数据」。这句话不是营销话术它意味着训练管线里省掉了 SFT 那一段人工标注环节模型靠奖励信号自己摸索推理路径。OpenAI o1 走的是另一条路——「增加思维链推理过程的长度」也就是在推理阶段让模型生成更长的中间步骤用测试时计算换准确率。这两条路线的工程含义完全不同。R1 的模块化框架允许企业按任务定制你拿到 MIT 许可的权重之后可以在自己的数据上继续做强化学习微调医疗数据分析、金融模式检测这类垂直场景就是这么落地的。o1 则是黑盒 API你调的是它的推理长度和上下文改不了它的底层。我一般会这么判断任务边界清晰、数据敏感、需要私有化部署的往 R1 这条线靠任务发散、要的是开箱即用的文本质量和多轮对话稳定性o1 更省心。2.2 基准数字怎么读别只看第一名把资料里的跑分整理成一张表方便对照基准测试DeepSeek R1OpenAI o1说明AIME 202479.8%79.2%数学竞赛题差距在误差范围内MATH-50097.3%96.4%数学推理两者都已接近饱和MMLU略低91.8%常识与学科知识o1 领先读这张表有个血泪经验AIME 和 MATH-500 都是数学向的两个模型在这上面差距不到 1 个百分点说明数学推理这条赛道已经卷到天花板了拿它当选型依据意义不大。真正要盯的是 MMLU 这类覆盖面广的常识基准以及你自己业务里的那批真实样本。我见过有人拿 AIME 的 0.6 个百分点差异写进选型报告结果上线后客服场景的回复质量掉了一截——因为客服吃的是语言流畅度和常识不是解方程。2.3 用 API 做一次最小对照实验选型不能只看别人的跑分得自己跑一批业务样本。下面这段 Python 是常见做法把同一批问题分别打到两个接口上记录延迟、token 消耗和人工评分。注意这里只写调用骨架密钥从环境变量读别硬编码。import os, time, json from openai import OpenAI # 两个客户端指向不同 base_url密钥走环境变量 ds_client OpenAI(api_keyos.getenv(DS_API_KEY), base_urlos.getenv(DS_BASE_URL)) oa_client OpenAI(api_keyos.getenv(OA_API_KEY), base_urlos.getenv(OA_BASE_URL)) def run_one(client, model, prompt, max_tokens1024): t0 time.time() resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], max_tokensmax_tokens, temperature0.2, # 对照实验固定温度减少随机性 ) latency time.time() - t0 usage resp.usage return { text: resp.choices[0].message.content, latency_s: round(latency, 2), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, } # 业务样本从文件读别在代码里堆问题 samples [line.strip() for line in open(eval_prompts.txt, encodingutf-8) if line.strip()] results [] for p in samples: results.append({ prompt: p, deepseek: run_one(ds_client, deepseek-reasoner, p), openai: run_one(oa_client, o1, p), }) json.dump(results, open(eval_result.json, w, encodingutf-8), ensure_asciiFalse, indent2)逻辑说明两个客户端共用 OpenAI 兼容的 SDK靠base_url区分服务端这样对照代码只有一份减少变量。temperature固定成 0.2 是为了让两次调用尽量可复现推理类模型对温度敏感不固定的话你分不清差异来自模型还是随机性。max_tokens给到 1024 是因为 o1 的思维链会吃掉不少输出预算设太小会截断在推理中途返回内容不完整。跑完拿eval_result.json做人工盲评把 prompt 和两个回答打乱顺序交给同事打分避免品牌偏见。参数上还有两个坑要提前说一是推理模型的计费 token 包含思维链部分completion_tokens往往比你看到的回答长好几倍成本估算别只数回答字数二是并发别开太高对照实验阶段串行跑就行并发一上来限流报错会把延迟数据污染掉。3. 应用场景对号入座医疗金融走 R1内容客服走 o13.1 按任务类型分而不是按公司分资料把场景列得很清楚R1 偏医疗数据分析、金融欺诈检测与风险评估、教育自适应学习o1 偏内容创作、智能客服、编码辅助。这个划分背后是能力结构差异——R1 的强化学习路线在需要多步推理、结果可验证的任务上强比如从一堆检验指标里推病因、从交易流水里找异常模式o1 的长思维链加海量语料在开放式生成上稳营销文案、产品描述、多轮客服这类没有唯一答案的任务更吃它的语言能力。我一般会做一个简单的任务分类表再决定任务特征优先候选理由有明确对错、需多步推导R1强化学习路线擅长可验证推理数据敏感、要私有化R1MIT 许可可自部署改权重开放式生成、多轮对话o1语言流畅度与上下文处理更成熟需要稳定 SLA 与文档支持o1API 生态和文档体系更完整注意这张表是起点不是终点。同一个业务里往往两类任务并存比如一个金融风控系统规则解释用 R1给客户发的通知文案用 o1混着用完全正常别被「选一个」的思路框住。3.2 私有化部署 R1 的最小检查清单MIT 许可意味着你可以下载权重自己跑但「能下载」和「能跑起来」是两回事。常见做法是先确认三件事显存够不够、推理框架版本对不对、量化方案选哪个。下面是一个部署前的检查脚本思路用 bash 把环境信息打出来避免上来就拉模型发现跑不动。# 部署前环境自检先看卡再看框架 nvidia-smi --query-gpuname,memory.total,memory.used --formatcsv python -c import torch; print(torch, torch.__version__, cuda, torch.version.cuda) pip show vllm 2/dev/null | grep -E Name|Version || echo vllm 未安装 df -h /data # 权重动辄几十 GB先看盘逻辑说明nvidia-smi那行确认卡型号和空闲显存权重加载后还要留出 KV cache 的空间实际可用显存要比权重体积大不少。第二行确认 torch 和 CUDA 版本匹配版本错配是部署翻车最高频的原因。第三行看推理框架装没装vLLM 这类框架对模型格式有要求版本太旧可能不认新权重。最后看磁盘别下到一半空间满了。参数层面量化是绕不开的选择全精度权重对显存要求高4bit 量化能压到四分之一左右但推理质量会有可感知的下降尤其是长链推理任务。我的建议是先在量化版上跑通流程和压测确认吞吐和延迟达标再评估要不要上更高精度。别一上来就追全精度卡不够的时候连跑都跑不起来谈何调优。3.3 成本账要按 token 结构算不是按单价算资料给的定价很直白R1 输出每百万 token 2.19 美元o1 是 60 美元API 费率差 96%。但真实成本账不能只乘单价。推理模型的输出 token 里思维链占大头同样一个问题o1 可能生成几千 token 的中间推理R1 的思维链相对短一些实际账单差距可能比单价差距还大也可能因为调用次数不同而收窄。我一般会这么估拿第 2 章那个对照脚本跑 50 条真实样本统计两边的completion_tokens均值再乘以业务预估的日调用量得出日成本。免费额度那 50 条消息只适合做功能验证别拿它做容量规划。另外开源部署的成本要算上机器折旧和运维人力自建不一定比 API 便宜数据合规要求才是自建的主要理由。4. 避坑与排查选型报告里最容易写错的五件事4.1 拿单一基准下结论现象报告里只引用 AIME 的 79.8% 对 79.2%得出「R1 全面领先」的结论。原因AIME 是数学竞赛基准覆盖面窄两个模型在这上面都已接近饱和0.6 个百分点在统计上不显著。解决至少三个维度交叉验证数学、常识、业务样本各一组业务样本权重最高。写报告时把基准的适用边界标出来别让读者误以为数学强等于全能。4.2 忽略思维链的 token 计费现象按回答字数估算成本上线后账单超预算好几倍。原因推理模型的计费包含思维链completion_tokens远大于可见回答长度。解决用第 2 章的脚本统计真实 token 结构成本模型里单独列一项「推理开销」并按 P90 而不是均值做预算长尾请求才是账单杀手。4.3 私有化部署显存算错现象权重下载完加载报 OOM或者加载成功但一并发就崩。原因只算了权重体积没算 KV cache 和框架开销并发上来后显存被吃穿。解决部署前用检查脚本确认空闲显存先单请求跑通再逐步加并发压测找到稳定并发上限。量化版先上别一步到位追全精度。4.4 把开源许可当成无限制现象以为 MIT 就是随便用改完权重直接对外提供服务没做任何合规审查。原因MIT 许可宽松但模型使用还涉及数据来源、输出内容合规等层面许可条款不等于业务合规。解决法务过一遍模型卡和使用条款对外服务加内容审核层尤其是医疗金融这类强监管场景模型输出必须有人工复核环节。4.5 混用两个模型却没做路由现象系统里同时接了 R1 和 o1但请求随机打过去成本和延迟都不稳定。原因没有按任务类型做路由简单问答也走了贵的推理模型。解决在网关层加一个轻量分类器或规则表按任务特征分流简单任务走便宜模型复杂推理才升级。路由规则要可观测记录每条请求走了哪条线方便事后调优。5. 进阶用法把对比结论固化成一套可复跑的评测流水线选型不是一次性动作模型在迭代你的业务样本也在变。我后来养成的习惯是把第 2 章的对照脚本扩展成一条可复跑的评测流水线每次有新版本或者业务样本更新跑一遍出报告而不是靠记忆和旧截图做决策。具体做法分三层。第一层是样本层eval_prompts.txt按任务类型分目录医疗、金融、客服各一批每批至少 30 条覆盖正常样本和边界样本。第二层是执行层把对照脚本包成一个命令行工具支持指定模型组合和样本目录输出结构化 JSON。第三层是评分层人工盲评之外加一个自动指标比如对有标准答案的样本算准确率对开放式样本用另一个模型做 pairwise 比较但自动评分只作参考最终以人工评分为准。# 评分汇总把人工评分和自动指标合并成一张对比表 import json, statistics data json.load(open(eval_result.json, encodingutf-8)) human_scores json.load(open(human_scores.json, encodingutf-8)) # {prompt_id: {deepseek: 4, openai: 5}} rows [] for i, item in enumerate(data): ds_tokens item[deepseek][completion_tokens] oa_tokens item[openai][completion_tokens] rows.append({ prompt_id: i, ds_latency: item[deepseek][latency_s], oa_latency: item[openai][latency_s], ds_tokens: ds_tokens, oa_tokens: oa_tokens, ds_score: human_scores.get(str(i), {}).get(deepseek), oa_score: human_scores.get(str(i), {}).get(openai), }) # 按任务类型分组统计均值和中位数都给长尾看 P90 def summarize(key): vals [r[key] for r in rows if r[key] is not None] vals.sort() return { mean: round(statistics.mean(vals), 2), median: round(statistics.median(vals), 2), p90: round(vals[int(len(vals) * 0.9)], 2), } for k in [ds_latency, oa_latency, ds_tokens, oa_tokens, ds_score, oa_score]: print(k, summarize(k))逻辑说明这段代码把执行结果和人工评分按 prompt 对齐输出均值、中位数和 P90 三个统计量。为什么三个都要均值容易被长尾拉偏中位数看典型体验P90 看最差的那批请求——线上事故往往就出在 P90 上。human_scores.json用 prompt 序号做键盲评时把两个模型的回答顺序打乱评分人不知道哪条来自哪个模型减少品牌偏见。参数上有个细节样本量少于 30 条时P90 没有统计意义老老实实看逐条结果。另外每次模型版本更新后旧的人工评分不能直接复用得重新评一批因为模型行为变了旧分数会误导对比。我一般会保留一份「锚点样本」每次评测都跑同一批用来校准不同批次评分之间的漂移。从那以后我每次做模型选型都强制走一遍「三基准交叉 业务样本盲评 P90 成本核算」这套流程哪怕时间紧也至少跑完前两步。踩过的坑告诉我省掉哪一步后面都会以另一种方式还回来。这份对比资料适合当起点把里面的数字和场景拆成自己的评测用例才算真正用起来。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/11/3 13:57:59 · 阅读 1.2k DeepSeek R1 vs OpenAI o1：技术路径、基准测试与选型指南
简介这份文档面向人工智能研究人员、从业者及关注大模型竞争格局的团队系统梳理DeepSeek与OpenAI在技术路线、应用场景与市场定位上的异同可用于学术对比研究或企业战略规划参考。内容从两家公司的成立背景与愿景切入重点比较DeepSeek R1与OpenAI o1的模型能力涵盖数学逻辑推理与自然语言处理两类任务的基准表现并延伸至医疗、金融、教育、内容创作、智能客服、编码辅助等落地场景同时讨论开源与商业化两种路径下的定价策略和可访问性差异最后展望多模态推理、可解释性与情境学习等未来方向。资源包共1个docx文件约19KB以结构化文字形式呈现对比分析便于检索与引用。目前已有528人学习适合希望快速建立两家AI公司整体认知、把握行业竞争态势的读者查阅。1. 两份模型摆在面前先别急着选边站上周有个做医疗数据分析的朋友甩过来一张截图AIME 2024 上 DeepSeek R1 拿了 79.8%OpenAI o1 是 79.2%他问我是不是可以把手里的 API 全切过去。我没直接回答而是让他把 MATH-500 和 MMLU 的数字也拉出来看——97.3% 对 96.4%91.8% 对略低一点。三组数字摆在一起结论其实很清楚推理类任务上两者咬得很紧通用语言理解上 o1 还留着一点身位。这份对比资料的价值就在这儿它把技术路径、应用场景、定价、开源许可几条线拆开摆平让你能按自己的任务类型去对号而不是被单一跑分带着走。适合谁正在做模型选型的技术负责人、要写方案对比的从业者以及想搞清楚「开源 MIT」和「订阅制 API」到底差在哪的开发者。下面我按自己拆这类资料的习惯把能直接抄的部分和容易翻车的地方分开讲。2. 技术路径拆解R1 的纯强化学习与 o1 的思维链加长2.1 两条路线差在哪先看训练方法资料里有一句话信息量很大DeepSeek R1「直接将强化学习应用于基础模型无需依赖监督微调和已标注数据」。这句话不是营销话术它意味着训练管线里省掉了 SFT 那一段人工标注环节模型靠奖励信号自己摸索推理路径。OpenAI o1 走的是另一条路——「增加思维链推理过程的长度」也就是在推理阶段让模型生成更长的中间步骤用测试时计算换准确率。这两条路线的工程含义完全不同。R1 的模块化框架允许企业按任务定制你拿到 MIT 许可的权重之后可以在自己的数据上继续做强化学习微调医疗数据分析、金融模式检测这类垂直场景就是这么落地的。o1 则是黑盒 API你调的是它的推理长度和上下文改不了它的底层。我一般会这么判断任务边界清晰、数据敏感、需要私有化部署的往 R1 这条线靠任务发散、要的是开箱即用的文本质量和多轮对话稳定性o1 更省心。2.2 基准数字怎么读别只看第一名把资料里的跑分整理成一张表方便对照基准测试DeepSeek R1OpenAI o1说明AIME 202479.8%79.2%数学竞赛题差距在误差范围内MATH-50097.3%96.4%数学推理两者都已接近饱和MMLU略低91.8%常识与学科知识o1 领先读这张表有个血泪经验AIME 和 MATH-500 都是数学向的两个模型在这上面差距不到 1 个百分点说明数学推理这条赛道已经卷到天花板了拿它当选型依据意义不大。真正要盯的是 MMLU 这类覆盖面广的常识基准以及你自己业务里的那批真实样本。我见过有人拿 AIME 的 0.6 个百分点差异写进选型报告结果上线后客服场景的回复质量掉了一截——因为客服吃的是语言流畅度和常识不是解方程。2.3 用 API 做一次最小对照实验选型不能只看别人的跑分得自己跑一批业务样本。下面这段 Python 是常见做法把同一批问题分别打到两个接口上记录延迟、token 消耗和人工评分。注意这里只写调用骨架密钥从环境变量读别硬编码。import os, time, json from openai import OpenAI # 两个客户端指向不同 base_url密钥走环境变量 ds_client OpenAI(api_keyos.getenv(DS_API_KEY), base_urlos.getenv(DS_BASE_URL)) oa_client OpenAI(api_keyos.getenv(OA_API_KEY), base_urlos.getenv(OA_BASE_URL)) def run_one(client, model, prompt, max_tokens1024): t0 time.time() resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], max_tokensmax_tokens, temperature0.2, # 对照实验固定温度减少随机性 ) latency time.time() - t0 usage resp.usage return { text: resp.choices[0].message.content, latency_s: round(latency, 2), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, } # 业务样本从文件读别在代码里堆问题 samples [line.strip() for line in open(eval_prompts.txt, encodingutf-8) if line.strip()] results [] for p in samples: results.append({ prompt: p, deepseek: run_one(ds_client, deepseek-reasoner, p), openai: run_one(oa_client, o1, p), }) json.dump(results, open(eval_result.json, w, encodingutf-8), ensure_asciiFalse, indent2)逻辑说明两个客户端共用 OpenAI 兼容的 SDK靠base_url区分服务端这样对照代码只有一份减少变量。temperature固定成 0.2 是为了让两次调用尽量可复现推理类模型对温度敏感不固定的话你分不清差异来自模型还是随机性。max_tokens给到 1024 是因为 o1 的思维链会吃掉不少输出预算设太小会截断在推理中途返回内容不完整。跑完拿eval_result.json做人工盲评把 prompt 和两个回答打乱顺序交给同事打分避免品牌偏见。参数上还有两个坑要提前说一是推理模型的计费 token 包含思维链部分completion_tokens往往比你看到的回答长好几倍成本估算别只数回答字数二是并发别开太高对照实验阶段串行跑就行并发一上来限流报错会把延迟数据污染掉。3. 应用场景对号入座医疗金融走 R1内容客服走 o13.1 按任务类型分而不是按公司分资料把场景列得很清楚R1 偏医疗数据分析、金融欺诈检测与风险评估、教育自适应学习o1 偏内容创作、智能客服、编码辅助。这个划分背后是能力结构差异——R1 的强化学习路线在需要多步推理、结果可验证的任务上强比如从一堆检验指标里推病因、从交易流水里找异常模式o1 的长思维链加海量语料在开放式生成上稳营销文案、产品描述、多轮客服这类没有唯一答案的任务更吃它的语言能力。我一般会做一个简单的任务分类表再决定任务特征优先候选理由有明确对错、需多步推导R1强化学习路线擅长可验证推理数据敏感、要私有化R1MIT 许可可自部署改权重开放式生成、多轮对话o1语言流畅度与上下文处理更成熟需要稳定 SLA 与文档支持o1API 生态和文档体系更完整注意这张表是起点不是终点。同一个业务里往往两类任务并存比如一个金融风控系统规则解释用 R1给客户发的通知文案用 o1混着用完全正常别被「选一个」的思路框住。3.2 私有化部署 R1 的最小检查清单MIT 许可意味着你可以下载权重自己跑但「能下载」和「能跑起来」是两回事。常见做法是先确认三件事显存够不够、推理框架版本对不对、量化方案选哪个。下面是一个部署前的检查脚本思路用 bash 把环境信息打出来避免上来就拉模型发现跑不动。# 部署前环境自检先看卡再看框架 nvidia-smi --query-gpuname,memory.total,memory.used --formatcsv python -c import torch; print(torch, torch.__version__, cuda, torch.version.cuda) pip show vllm 2/dev/null | grep -E Name|Version || echo vllm 未安装 df -h /data # 权重动辄几十 GB先看盘逻辑说明nvidia-smi那行确认卡型号和空闲显存权重加载后还要留出 KV cache 的空间实际可用显存要比权重体积大不少。第二行确认 torch 和 CUDA 版本匹配版本错配是部署翻车最高频的原因。第三行看推理框架装没装vLLM 这类框架对模型格式有要求版本太旧可能不认新权重。最后看磁盘别下到一半空间满了。参数层面量化是绕不开的选择全精度权重对显存要求高4bit 量化能压到四分之一左右但推理质量会有可感知的下降尤其是长链推理任务。我的建议是先在量化版上跑通流程和压测确认吞吐和延迟达标再评估要不要上更高精度。别一上来就追全精度卡不够的时候连跑都跑不起来谈何调优。3.3 成本账要按 token 结构算不是按单价算资料给的定价很直白R1 输出每百万 token 2.19 美元o1 是 60 美元API 费率差 96%。但真实成本账不能只乘单价。推理模型的输出 token 里思维链占大头同样一个问题o1 可能生成几千 token 的中间推理R1 的思维链相对短一些实际账单差距可能比单价差距还大也可能因为调用次数不同而收窄。我一般会这么估拿第 2 章那个对照脚本跑 50 条真实样本统计两边的completion_tokens均值再乘以业务预估的日调用量得出日成本。免费额度那 50 条消息只适合做功能验证别拿它做容量规划。另外开源部署的成本要算上机器折旧和运维人力自建不一定比 API 便宜数据合规要求才是自建的主要理由。4. 避坑与排查选型报告里最容易写错的五件事4.1 拿单一基准下结论现象报告里只引用 AIME 的 79.8% 对 79.2%得出「R1 全面领先」的结论。原因AIME 是数学竞赛基准覆盖面窄两个模型在这上面都已接近饱和0.6 个百分点在统计上不显著。解决至少三个维度交叉验证数学、常识、业务样本各一组业务样本权重最高。写报告时把基准的适用边界标出来别让读者误以为数学强等于全能。4.2 忽略思维链的 token 计费现象按回答字数估算成本上线后账单超预算好几倍。原因推理模型的计费包含思维链completion_tokens远大于可见回答长度。解决用第 2 章的脚本统计真实 token 结构成本模型里单独列一项「推理开销」并按 P90 而不是均值做预算长尾请求才是账单杀手。4.3 私有化部署显存算错现象权重下载完加载报 OOM或者加载成功但一并发就崩。原因只算了权重体积没算 KV cache 和框架开销并发上来后显存被吃穿。解决部署前用检查脚本确认空闲显存先单请求跑通再逐步加并发压测找到稳定并发上限。量化版先上别一步到位追全精度。4.4 把开源许可当成无限制现象以为 MIT 就是随便用改完权重直接对外提供服务没做任何合规审查。原因MIT 许可宽松但模型使用还涉及数据来源、输出内容合规等层面许可条款不等于业务合规。解决法务过一遍模型卡和使用条款对外服务加内容审核层尤其是医疗金融这类强监管场景模型输出必须有人工复核环节。4.5 混用两个模型却没做路由现象系统里同时接了 R1 和 o1但请求随机打过去成本和延迟都不稳定。原因没有按任务类型做路由简单问答也走了贵的推理模型。解决在网关层加一个轻量分类器或规则表按任务特征分流简单任务走便宜模型复杂推理才升级。路由规则要可观测记录每条请求走了哪条线方便事后调优。5. 进阶用法把对比结论固化成一套可复跑的评测流水线选型不是一次性动作模型在迭代你的业务样本也在变。我后来养成的习惯是把第 2 章的对照脚本扩展成一条可复跑的评测流水线每次有新版本或者业务样本更新跑一遍出报告而不是靠记忆和旧截图做决策。具体做法分三层。第一层是样本层eval_prompts.txt按任务类型分目录医疗、金融、客服各一批每批至少 30 条覆盖正常样本和边界样本。第二层是执行层把对照脚本包成一个命令行工具支持指定模型组合和样本目录输出结构化 JSON。第三层是评分层人工盲评之外加一个自动指标比如对有标准答案的样本算准确率对开放式样本用另一个模型做 pairwise 比较但自动评分只作参考最终以人工评分为准。# 评分汇总把人工评分和自动指标合并成一张对比表 import json, statistics data json.load(open(eval_result.json, encodingutf-8)) human_scores json.load(open(human_scores.json, encodingutf-8)) # {prompt_id: {deepseek: 4, openai: 5}} rows [] for i, item in enumerate(data): ds_tokens item[deepseek][completion_tokens] oa_tokens item[openai][completion_tokens] rows.append({ prompt_id: i, ds_latency: item[deepseek][latency_s], oa_latency: item[openai][latency_s], ds_tokens: ds_tokens, oa_tokens: oa_tokens, ds_score: human_scores.get(str(i), {}).get(deepseek), oa_score: human_scores.get(str(i), {}).get(openai), }) # 按任务类型分组统计均值和中位数都给长尾看 P90 def summarize(key): vals [r[key] for r in rows if r[key] is not None] vals.sort() return { mean: round(statistics.mean(vals), 2), median: round(statistics.median(vals), 2), p90: round(vals[int(len(vals) * 0.9)], 2), } for k in [ds_latency, oa_latency, ds_tokens, oa_tokens, ds_score, oa_score]: print(k, summarize(k))逻辑说明这段代码把执行结果和人工评分按 prompt 对齐输出均值、中位数和 P90 三个统计量。为什么三个都要均值容易被长尾拉偏中位数看典型体验P90 看最差的那批请求——线上事故往往就出在 P90 上。human_scores.json用 prompt 序号做键盲评时把两个模型的回答顺序打乱评分人不知道哪条来自哪个模型减少品牌偏见。参数上有个细节样本量少于 30 条时P90 没有统计意义老老实实看逐条结果。另外每次模型版本更新后旧的人工评分不能直接复用得重新评一批因为模型行为变了旧分数会误导对比。我一般会保留一份「锚点样本」每次评测都跑同一批用来校准不同批次评分之间的漂移。从那以后我每次做模型选型都强制走一遍「三基准交叉 业务样本盲评 P90 成本核算」这套流程哪怕时间紧也至少跑完前两步。踩过的坑告诉我省掉哪一步后面都会以另一种方式还回来。这份对比资料适合当起点把里面的数字和场景拆成自己的评测用例才算真正用起来。希望帮到你。本文还有配套的精品资源点击获取