11.04 大语言模型研究简报:OpenAI 工程 Agent 在 BenchCAD 2.0 上达到 0.875 分 从代码到物理工程OpenAI 工程 Agent 在 BenchCAD 2.0 上达到 0.875 分研究动态2026 年 11 月 4 日机构OpenAI原始发布日期2026 年 11 月 3 日进展类型官方研究进展披露新内部模型尚未公开大型语言模型的应用场景正在从代码编写延伸至真实的工程设计。2026 年 11 月 3 日OpenAI 发表《Accelerating engineering for the physical world》介绍 GPT-6 Astra 与 Codex 在机械设计、计算机辅助设计CAD、印刷电路板PCB设计、有限元分析FEA及制造工作流中的应用。其中最值得关注的结果是OpenAI 报告一款尚未公开的内部模型在 BenchCAD 2.0 上取得 0.875 的平均分GPT-6 Astra 在最高推理强度下为 0.594。这一差距反映了工程建模能力的潜在进展但由于新模型尚未公开其评测设置与结果仍需独立验证。一、核心数据从 0.594 到 0.875模型BenchCAD 2.0 平均分0–1公开状态OpenAI 新内部模型0.875未公开GPT-6 Astra最高推理强度0.594已发布模型分数差值0.281基于 OpenAI 官方披露计算图 1OpenAI 官方披露的 BenchCAD 2.0 平均分新内部模型为 0.875GPT-6 Astra最高推理强度为 0.594差值为 0.281。分数不是可制造性或任务成功率。这里的 0.281 是基准分数的绝对差值不能直接解读为“真实工程任务成功率提高了 28.1 个百分点”。同时官方没有披露新内部模型的架构、训练方法、推理预算或完整评测轨迹也不能据此判断性能提升来自哪一种技术改动。二、BenchCAD 2.0 在测什么BenchCAD 2.0 于2026 年 10 月 12 日推出旨在考察模型能否根据工程图纸、渲染视图和部件信息生成可供进一步处理的 CAD 或电子设计结果而不仅是回答工程知识题。它覆盖六类任务根据带尺寸的工程图重建三维零件。在提供现有零件的条件下完成装配。根据零件图和装配图同时重建新零件与装配关系。根据多个渲染视角逆向重建三维零件。根据渲染视图逆向恢复零件及装配体。根据 PCB 的多视角图像恢复电路连接关系。图 2根据 BenchCAD 团队的六类任务定义绘制的结构示意图。Core 含 100 个保留评测案例图中没有隐含各类任务的数量、比例或单项成绩。这一基准的特点在于采用几何和电气连接的程序化评分而非仅用另一个语言模型判断结果是否正确。评测关注零件形状、空间位置、装配关系和线路拓扑等可检查对象。这也揭示了工程 Agent 与普通代码 Agent 的一个重要差异程序语法正确并不意味着设计有效。零件方向、配合公差、焊盘连接等细微错误可能使外观看起来合理的方案无法装配、制造或正常工作。三、从评测走向真实设备Astra 参与设计实体原型OpenAI 还展示了一项完整的机电产品设计实验使用 Astra 协助完成可与 Codex 交互的实体设备其工作涉及以下环节结构设计设备外壳及内部支撑结构。电子设计PCB 元件选型、布局与电气连接。软件集成用户界面、固件和配套软件。制造衔接输出供制造商使用的设计结果并根据审核反馈修改。根据 OpenAI 的披露两名团队成员在不到一周内完成了设备设计合同制造商随后在不到一个月内制作了小批量原型。OpenAI 同时披露自 2026 年 2 月以来其硬件团队对模型的使用量按 Token 计增长了23 倍。这一数字衡量的是使用量不能直接作为工程产出或生产率提升的证据。图 3三项指标均来自 OpenAI 官方文章分别是团队模型使用量、特定设备的设计时间、特定原型的制造时间口径不同不宜进行直接的效率换算。但这一演示并不代表无人监督的自动制造已经实现。在进入制造环节之前团队仍需多轮审查和迭代尤其需要纠正制造能力、尺寸公差和装配细节方面的问题。四、为什么这项进展重要1. Agent 的输出开始受到物理约束过去对编程 Agent 的评价通常聚焦于代码是否通过测试而在实体工程中输出还必须满足几何约束、空间装配关系、电气连通性以及实际制造条件。工程 Agent 需要将自然语言任务、专业软件操作和可验证的设计产物连接起来。2. 评测从“答案正确”转向“设计可验证”BenchCAD 2.0 采用程序化评分使模型输出可以和参考几何、装配布局或电路拓扑进行比较。相比单纯的文本评价这更接近工程团队对实际交付物的检查方式。3. 为机器人和机电系统研发提供新工具路径机器人硬件研发同样涉及 CAD、机构装配、电路设计和仿真。若模型能够可靠调用专业工具并修正设计错误未来可能承担更多从需求分析到仿真检查的工程辅助工作。不过现有结果尚不能证明模型具备可靠的自主机器人硬件研发能力。五、与此前工作的关系BenchCAD 本身不是新发布需要区分两个时间点2026 年 10 月 12 日BenchCAD 团队发布 BenchCAD 2.0报告 GPT-6 Astra 在其当时的评测设置下约为0.59。研究还发现模型容易出现“零件形状基本正确但装配位置或朝向错误”以及 PCB 连线错误等问题。2026 年 11 月 3 日OpenAI 公布进一步的工程 Agent 应用案例并首次披露一款新内部模型达到0.875的平均分。因此11 月的新进展不是 BenchCAD 2.0 基准首次提出而是 OpenAI 报告了新的内部模型表现以及在真实机电设计流程中的应用经验。BenchCAD 2.0 的代码、评分器和部分开发样例已经开放但用于正式排名的 100 个 Core 案例采用受限评测访问方式。公开仓库不等同于完整的无条件公开评测数据。六、尚待解决的问题现阶段应保留以下判断边界独立复现不足0.875 来自 OpenAI 官方披露未见该内部模型的独立公开评测。训练细节未知无法判断提升主要来自模型规模、专门训练、工具链改进还是推理预算。工程有效性未被完全覆盖BenchCAD 的几何及电路拓扑评分不直接等于可制造性、结构可靠性或实际物理性能。人类仍在回路中已公开的实体设备案例需要工程人员审核制造公差、装配条件等关键细节。结语这次进展最值得关注的并非单独的 0.875 分而是大模型 Agent 开始进入可用几何、电路和制造约束检验的实体工程工作流。接下来更关键的研究问题是模型能否稳定识别并修正工程错误以及基准上的能力提升能否转化为可复现的设计质量与实际生产效率。参考资料OpenAI2026-11-03Accelerating engineering for the physical world —— 官方研究披露、内部模型得分及实体设备设计案例。BenchCAD Team2026-10-12Introducing BenchCAD 2.0 —— 六类任务、评分方法、历史结果与局限性。BenchCAD-orgBenchCAD 2.0 官方 GitHub 仓库 —— 评测框架、评分代码及公开样例。