把五万条失败记录做成错题本原本放弃的任务通过率飙了三成如果一个刚上岗的实习生把事情搞砸了聪明的师傅绝不会只甩过去一句冷冰冰的「不合格重来」而是会停下来问两句话你究竟在哪一步拐错了弯如果当时换个做法结果会不会彻底不同但在很长一段时间里科技行业教聪明的人工智能办事用的偏偏是最笨的办法。只要智能体任务失败系统就直接打上一个负分然后把整条长长的执行记录当成垃圾彻底倒掉。2026 年秋天来自 Apodex 机构的 Kunlun Zhu、Xuyan Ye、Yibo Li、Cheng Qian、Beibin Li 和 Heng Ji 等研究人员在开源平台 Hugging Face 和学术预印本网站上交出了一份反直觉的答卷他们把智能体自己犯下的 50,228 条错误记录打包成了一套庞大的错题本。更让人吃惊的是在后续的检验中仅仅把关键处走错的那一步改掉任务的通过率就直接从 18.4% 飙升到了 51.1%提升了整整 32.7 个百分点。一、为什么倒掉失败记录是极其昂贵的浪费过去很长一段时间大家训练智能体就像大厨教徒弟炒菜只保留徒弟炒出色香味俱全的好菜轨迹一旦徒弟把菜炒糊了整盘菜倒掉记上一笔零分。这种做法最大的问题在于系统给出的负面反馈太粗糙了。智能体忙活了十几步最终失败了系统只告诉它「你搞砸了」却从来不告诉它「你到底是在第几步放错了调料又该换成放什么」。事实上一次执行失败的过程里藏着极高的信息量智能体当时屏幕上看到了什么、它根据这些信息做出了什么决定、外部软件环境又给出了怎样的报错。直接把这些现场证据删掉等于扔掉了最宝贵的办案线索。行业里此前虽然有分类失败模式的工具或者定位究竟是哪一个程序组件出了差错的研究但没有一家能给出经过严格执行并核验过的替代改法更没有回过头去拿原动作做严格的对照。针对这个死结团队搭建了一条包含五个阶段的流水线名字叫作「从智能体错误到训练」。他们不去故意人为注入系统故障只老老实实收集真实业务环境里自然发生的人工智能翻车记录。整个数据集一共收录了 50,228 条「错误与诊断」配对数据源头涵盖了 9,961 个源任务、33 个不同的软件环境既包含真实的软件测试基准也包含模拟购物与日常环境甚至网罗了 19 种主流的智能体骨架结构以及 23 个不同的基础策略模型。为了不让这些记录变成死数据研究人员完整保留了执行过程中的原始轨迹与所有技术运行参数。这意味着其他工程师拿到这批数据后不需要耗费天价算力重新去跑一遍那些极其耗时的底层软件模拟就能直接做跨场景的二次分析和诊断。二、换掉一步棋到底能挽回多少死局改掉犯错的那一步真的有这么神奇吗为了证明这套逻辑不是纸上谈兵研究团队在支持系统状态回放的测试集里挑出了 3,062 对高度匹配的执行现场进行了严密对照。这就好比在一盘下输了的棋局里直接退回到那个关键的臭棋节点分出两个平行世界一边让智能体重试当时它下的那步臭棋另一边则换上错题诊断流水线建议的替代招数。结果非常戏剧性。重试原动作的那一组验证器的通过率只有 18.4%而采用了流水线首次提出的纠正动作后通过率猛增到了 51.1%一下子拉升了 32.7 个百分点。如果采用流水线进一步修订后的选定方案通过率更是直接达到 59.1%而对应的重试对照组只有 13.7%差距拉大到 45.3 个百分点。这里藏着一个极易被人忽略的深坑很多时候任务能跑通纯粹是因为外部环境碰巧放行根本不是纠正动作起了作用。在 3,062 对对照实验中首次提议就成功的 1,564 次案例里竟然有 470 次占比高达 30.1%是哪怕重试原动作也能碰巧通过的。这恰恰证明了设立严格对照组的必要性。如果没有对照组工程师就会把这三成靠运气过关的案例误当成灵丹妙药。去掉这层水分后真正体现技术净收益的是那些两边产生分歧的格子在同一个节点上「只有换了纠正动作才能通过」的情况出现了 1,094 次而「只有重试原本动作才能通过」的只有区区 93 次。两相比较纠正动作的真实价值被扎扎实实地夯死了。如果在后续执行中引入诊断信息来引导系统继续运行恢复成功率能达到 31.3%远高于不加思考直接盲目重试的 18.6%。三、拿错题本当教材小模型也能精准挑刺把这 5 万多条错误诊断整理出来并不只是为了给人看核心目标是把它变成可以喂给人工智能的监督学习素材。在传统的智能体微调中大家习惯只喂给模型做对事情的案例。这一次研究人员把错题数据拆成了两类教材一类是教模型怎么当老师挑毛病的「诊断教材」另一类是教模型怎么绝地翻盘的「动作恢复教材」。实验带来的惊喜相当直观。在单独冻结的诊断测试中研究人员用来自 1,656 个源任务的诊断教材对开源模型 Qwen3-8B 进行了全量微调。在包含 943 个未见过案例的测试集上经过三次不同随机种子测试这个 80 亿参数的模型与内部高水平教师标签的精确步骤一致率从原本的 47.2% 一路被拔高到了 63.6%。这个表现不仅稳步压倒了依靠提示词引导的 54.7% 基线水平甚至横向对比那些业界鼎鼎大名的前沿庞然大物时也毫不逊色在这个特定测试集上Claude Opus 5 的精确步骤一致率是 54.7%Gemini 3.8 Flash 是 53.2%而 GPT-6 Astra 则是 50.7%。小模型凭借吃透了结构化的高质量错题本在精准定位错误步骤这件事上展现出了极强的专业性。更重要的是随着训练任务数量从 240 个、480 个、948 个一路增加到 1,656 个模型的挑刺准确率呈现出非常健康的单调递增趋势。而在教模型如何改错的动作训练上错题同样展现了独特威力。在模拟网上购物的 WebShop-lite 评测场景中单次随机种子测试显示纯粹采用错误修复式训练训练出来的模型其任务表现比单纯去硬背成功轨迹的模型高出了 6.67 个百分点。这证明了知道怎么从坑里爬出来比一味模仿标准答案更有韧性。四、工业落地的试金石与不可忽视的暗礁尽管数据十分亮眼但这项研究并不能被当成包治百病的万能神药。行业分析机构在深入拆解这项成果时也指出了必须冷静看待的现实局限。首先是环境的极端分化。尽管在购物场景里加入纠正训练效果拔群但在名为 TextQuest 的文字探索任务中包含修复和预防机制的训练配方不仅没涨分反而掉了大概 8 到 10 分。在追求真实物理交互的 ALFWorld 和 ScienceWorld 环境里预防式配方甚至跑输了完全没有经过微调训练的原始策略。其次框架换了犯错的模样也大相径庭。在研究测试的 19 种智能体框架里有 8 种框架里摔跟头的主要原因都是具体的动作执行错误例如打错了命令或点错了按钮但在名为 π agent 的架构里系统犯错却高度集中在环境观测和逻辑验证上这两项加起来占了 61.3% 的失误比例。这就意味着在一个系统里管用的纠错经验换到另一套骨架上可能完全对不上号。更需要工业界清醒的是论文在进行动作训练实验时实际使用的只是早期冻结的 4,319 行小样本版本覆盖 2,309 个任务和 15 个环境50,228 这个数字代表的是整个错题库的生态覆盖广度而非实际参与微调的数据量。此外所谓的高一致率衡量的是模型与训练时所用教师标签的吻合程度论文作者也坦承这并不等同于系统在现实世界的真实智力。回顾 2026 年秋天的科技脉络从 9 月下旬行业暴露出的智能体行为越界事件到自演化系统内生失配的讨论海外科技界开始密集意识到一件事只追求大模型在顺境下的高跑分已经没有意义决定商业化生死的是系统在逆境下的运维可见性。过去各家团队遇到人工智能搞砸业务只能被动救火把执行失败的模拟反复跑上百遍来寻找线索算力账单高得惊人。而将错误动作、现场线索与经过验证的纠正方案严格绑定的做法第一次把智能体工程的调试逻辑从偶发的故障排查转变成了一套可持续滚动的工业教材。正如研究人员在开源协议下公开全部代码与数据时所展现的那样这一步迈出后智能体进化的燃料不再仅仅是那些万里挑一的侥幸成功那些曾经被随手倒掉的数以万计的失败废料正在变成最扎实的磨刀石。 
长河君 · 2026/10/4 5:07:41 · 阅读 1.2k 把五万条失败记录做成错题本，原本放弃的任务通过率飙了三成
把五万条失败记录做成错题本原本放弃的任务通过率飙了三成如果一个刚上岗的实习生把事情搞砸了聪明的师傅绝不会只甩过去一句冷冰冰的「不合格重来」而是会停下来问两句话你究竟在哪一步拐错了弯如果当时换个做法结果会不会彻底不同但在很长一段时间里科技行业教聪明的人工智能办事用的偏偏是最笨的办法。只要智能体任务失败系统就直接打上一个负分然后把整条长长的执行记录当成垃圾彻底倒掉。2026 年秋天来自 Apodex 机构的 Kunlun Zhu、Xuyan Ye、Yibo Li、Cheng Qian、Beibin Li 和 Heng Ji 等研究人员在开源平台 Hugging Face 和学术预印本网站上交出了一份反直觉的答卷他们把智能体自己犯下的 50,228 条错误记录打包成了一套庞大的错题本。更让人吃惊的是在后续的检验中仅仅把关键处走错的那一步改掉任务的通过率就直接从 18.4% 飙升到了 51.1%提升了整整 32.7 个百分点。一、为什么倒掉失败记录是极其昂贵的浪费过去很长一段时间大家训练智能体就像大厨教徒弟炒菜只保留徒弟炒出色香味俱全的好菜轨迹一旦徒弟把菜炒糊了整盘菜倒掉记上一笔零分。这种做法最大的问题在于系统给出的负面反馈太粗糙了。智能体忙活了十几步最终失败了系统只告诉它「你搞砸了」却从来不告诉它「你到底是在第几步放错了调料又该换成放什么」。事实上一次执行失败的过程里藏着极高的信息量智能体当时屏幕上看到了什么、它根据这些信息做出了什么决定、外部软件环境又给出了怎样的报错。直接把这些现场证据删掉等于扔掉了最宝贵的办案线索。行业里此前虽然有分类失败模式的工具或者定位究竟是哪一个程序组件出了差错的研究但没有一家能给出经过严格执行并核验过的替代改法更没有回过头去拿原动作做严格的对照。针对这个死结团队搭建了一条包含五个阶段的流水线名字叫作「从智能体错误到训练」。他们不去故意人为注入系统故障只老老实实收集真实业务环境里自然发生的人工智能翻车记录。整个数据集一共收录了 50,228 条「错误与诊断」配对数据源头涵盖了 9,961 个源任务、33 个不同的软件环境既包含真实的软件测试基准也包含模拟购物与日常环境甚至网罗了 19 种主流的智能体骨架结构以及 23 个不同的基础策略模型。为了不让这些记录变成死数据研究人员完整保留了执行过程中的原始轨迹与所有技术运行参数。这意味着其他工程师拿到这批数据后不需要耗费天价算力重新去跑一遍那些极其耗时的底层软件模拟就能直接做跨场景的二次分析和诊断。二、换掉一步棋到底能挽回多少死局改掉犯错的那一步真的有这么神奇吗为了证明这套逻辑不是纸上谈兵研究团队在支持系统状态回放的测试集里挑出了 3,062 对高度匹配的执行现场进行了严密对照。这就好比在一盘下输了的棋局里直接退回到那个关键的臭棋节点分出两个平行世界一边让智能体重试当时它下的那步臭棋另一边则换上错题诊断流水线建议的替代招数。结果非常戏剧性。重试原动作的那一组验证器的通过率只有 18.4%而采用了流水线首次提出的纠正动作后通过率猛增到了 51.1%一下子拉升了 32.7 个百分点。如果采用流水线进一步修订后的选定方案通过率更是直接达到 59.1%而对应的重试对照组只有 13.7%差距拉大到 45.3 个百分点。这里藏着一个极易被人忽略的深坑很多时候任务能跑通纯粹是因为外部环境碰巧放行根本不是纠正动作起了作用。在 3,062 对对照实验中首次提议就成功的 1,564 次案例里竟然有 470 次占比高达 30.1%是哪怕重试原动作也能碰巧通过的。这恰恰证明了设立严格对照组的必要性。如果没有对照组工程师就会把这三成靠运气过关的案例误当成灵丹妙药。去掉这层水分后真正体现技术净收益的是那些两边产生分歧的格子在同一个节点上「只有换了纠正动作才能通过」的情况出现了 1,094 次而「只有重试原本动作才能通过」的只有区区 93 次。两相比较纠正动作的真实价值被扎扎实实地夯死了。如果在后续执行中引入诊断信息来引导系统继续运行恢复成功率能达到 31.3%远高于不加思考直接盲目重试的 18.6%。三、拿错题本当教材小模型也能精准挑刺把这 5 万多条错误诊断整理出来并不只是为了给人看核心目标是把它变成可以喂给人工智能的监督学习素材。在传统的智能体微调中大家习惯只喂给模型做对事情的案例。这一次研究人员把错题数据拆成了两类教材一类是教模型怎么当老师挑毛病的「诊断教材」另一类是教模型怎么绝地翻盘的「动作恢复教材」。实验带来的惊喜相当直观。在单独冻结的诊断测试中研究人员用来自 1,656 个源任务的诊断教材对开源模型 Qwen3-8B 进行了全量微调。在包含 943 个未见过案例的测试集上经过三次不同随机种子测试这个 80 亿参数的模型与内部高水平教师标签的精确步骤一致率从原本的 47.2% 一路被拔高到了 63.6%。这个表现不仅稳步压倒了依靠提示词引导的 54.7% 基线水平甚至横向对比那些业界鼎鼎大名的前沿庞然大物时也毫不逊色在这个特定测试集上Claude Opus 5 的精确步骤一致率是 54.7%Gemini 3.8 Flash 是 53.2%而 GPT-6 Astra 则是 50.7%。小模型凭借吃透了结构化的高质量错题本在精准定位错误步骤这件事上展现出了极强的专业性。更重要的是随着训练任务数量从 240 个、480 个、948 个一路增加到 1,656 个模型的挑刺准确率呈现出非常健康的单调递增趋势。而在教模型如何改错的动作训练上错题同样展现了独特威力。在模拟网上购物的 WebShop-lite 评测场景中单次随机种子测试显示纯粹采用错误修复式训练训练出来的模型其任务表现比单纯去硬背成功轨迹的模型高出了 6.67 个百分点。这证明了知道怎么从坑里爬出来比一味模仿标准答案更有韧性。四、工业落地的试金石与不可忽视的暗礁尽管数据十分亮眼但这项研究并不能被当成包治百病的万能神药。行业分析机构在深入拆解这项成果时也指出了必须冷静看待的现实局限。首先是环境的极端分化。尽管在购物场景里加入纠正训练效果拔群但在名为 TextQuest 的文字探索任务中包含修复和预防机制的训练配方不仅没涨分反而掉了大概 8 到 10 分。在追求真实物理交互的 ALFWorld 和 ScienceWorld 环境里预防式配方甚至跑输了完全没有经过微调训练的原始策略。其次框架换了犯错的模样也大相径庭。在研究测试的 19 种智能体框架里有 8 种框架里摔跟头的主要原因都是具体的动作执行错误例如打错了命令或点错了按钮但在名为 π agent 的架构里系统犯错却高度集中在环境观测和逻辑验证上这两项加起来占了 61.3% 的失误比例。这就意味着在一个系统里管用的纠错经验换到另一套骨架上可能完全对不上号。更需要工业界清醒的是论文在进行动作训练实验时实际使用的只是早期冻结的 4,319 行小样本版本覆盖 2,309 个任务和 15 个环境50,228 这个数字代表的是整个错题库的生态覆盖广度而非实际参与微调的数据量。此外所谓的高一致率衡量的是模型与训练时所用教师标签的吻合程度论文作者也坦承这并不等同于系统在现实世界的真实智力。回顾 2026 年秋天的科技脉络从 9 月下旬行业暴露出的智能体行为越界事件到自演化系统内生失配的讨论海外科技界开始密集意识到一件事只追求大模型在顺境下的高跑分已经没有意义决定商业化生死的是系统在逆境下的运维可见性。过去各家团队遇到人工智能搞砸业务只能被动救火把执行失败的模拟反复跑上百遍来寻找线索算力账单高得惊人。而将错误动作、现场线索与经过验证的纠正方案严格绑定的做法第一次把智能体工程的调试逻辑从偶发的故障排查转变成了一套可持续滚动的工业教材。正如研究人员在开源协议下公开全部代码与数据时所展现的那样这一步迈出后智能体进化的燃料不再仅仅是那些万里挑一的侥幸成功那些曾经被随手倒掉的数以万计的失败废料正在变成最扎实的磨刀石。