1. 从一封联名公开信说起为什么这次讨论值得认真对待Hinton、Bengio 这些名字在深度学习圈子里是什么分量不用我多介绍。22 位研究者联名发声这件事本身就说明他们讨论的不是某个实验室里的技术细节而是一个已经逼近行业临界点的趋势。标题里那句AI 开始造 AI说的不是科幻电影里的机器人自我复制而是一个非常具体的工程现实用 AI 系统去参与 AI 系统本身的研发、训练、评估和迭代。这件事为什么让这批人坐不住因为过去十年 AI 能力的提升主要靠的是人往里砸资源——更多数据、更多算力、更多标注、更多调参工程师。而一旦 AI 能参与到造下一代 AI的环节里这个循环就可能从人推着走变成系统自己加速。关键词里的Feedback Loop反馈回路和RSIRecursive Self-Improvement递归自我改进说的就是这件事。我写这篇不是要制造焦虑而是想把这件事拆开来看它到底在技术层面指什么、现在走到了哪一步、哪些是真进展、哪些是被标题放大的部分。如果你在做 Agent 开发、模型训练或者 AI 工程相关的工作这个话题跟你的日常其实比想象中更近。2. AI 造 AI到底指什么拆开标题里的三个层次2.1 第一层AI 参与模型研发的辅助环节最容易被忽略、但已经大规模发生的一层是 AI 在模型研发流程里做辅助工。具体包括数据筛选与清洗用模型给训练数据打质量分筛掉低质样本这已经是很多团队的标配流程。超参搜索与实验调度用强化学习或贝叶斯方法去决定下一组实验跑什么配置减少人工试错。代码生成与优化让模型写训练脚本、改 kernel、做算子融合工程师只做审核。评估与红队测试用一批模型去自动生成测试用例找出另一批模型的漏洞和失效场景。这一层的关键词是Scaling——它不改变研发的本质但把研发的吞吐量放大了。原来一个团队一周能跑几十组实验现在能跑几百组。量变到一定程度就会影响整个领域的迭代速度。2.2 第二层AI 参与架构与算法的搜索再往深一层是让 AI 去搜索什么样的模型结构更好。这不算全新概念早期的神经架构搜索NAS就是这个思路。但现在的区别在于搜索空间更大、评估器更强、反馈信号更密。举个具体的逻辑传统 NAS 是给定一个搜索空间用某种策略找最优结构。而现在更激进的做法是让一个模型去读大量论文、代码和实验日志自己提出候选架构再交给评估系统打分把高分结果反馈回去继续生成。这就形成了一个闭环——生成、评估、反馈、再生成。关键词里的Feedback Loop在这里体现得最直接。2.3 第三层真正让人警惕的递归自我改进第三层才是标题里智能爆炸逼近真正指向的东西RSI。它的定义是一个系统能够改进自己而改进后的版本又能更高效地改进自己形成加速循环。这里必须说清楚一个边界目前没有任何公开证据表明存在一个完全自主、无需人类介入、能持续自我升级的 AI 系统。现在能观察到的是人在回路中的加速——人设定目标、审核结果、决定方向AI 负责在既定框架内高速迭代。这个区别非常重要因为人在回路和人不在回路是两种完全不同的风险等级。3. 反馈回路是怎么转起来的一个可复现的工程视角3.1 回路的基本结构要理解为什么这批研究者紧张得先看清这个回路长什么样。抛开抽象讨论一个典型的AI 参与 AI 研发回路包含四个环节生成由模型产出候选方案代码、架构、数据配方、评估用例。执行在真实环境里跑这些方案拿到客观指标。评估把指标转成可比较的分数判断哪些方案值得保留。反馈把高分方案的特征回灌给生成环节指导下一次产出。这个结构本身不新鲜强化学习就是这个套路。新鲜的地方在于生成环节和执行环节的能力都变强了。生成端是强模型执行端是自动化实验平台评估端是另一批模型。三个环节都上了强度回路转速自然就上去了。3.2 为什么转速是关键变量我用一个类比说明。假设你有一个工人他一天能改进一件工具。现在你给他配了一个助手助手能帮他把改进方案快速试出来工人一天能改进三件。再给助手配一个能自动记录和筛选的评估系统工人一天能改进十件。工人本身没变聪明但整个系统的产出速度变了。AI 研发领域现在发生的就是这件事。单个模型的智力上限可能没有质变但研发流程的自动化程度在快速提升。当流程自动化到一定程度单位时间内产生的有效改进就会累积累积到某个点就会表现为能力曲线变陡。3.3 回路里的瓶颈在哪回路不是无限加速的它有几个硬瓶颈瓶颈环节具体限制当前缓解手段算力训练和评估都要烧卡更高效的训练方法、推理优化数据高质量数据有限合成数据、数据筛选评估自动评估未必准人审 多模型交叉验证验证真实效果要时间检验小规模灰度、A/B 测试我个人的观察是评估环节是最容易被低估的瓶颈。生成很快执行也不慢但判断一个方案到底好不好这件事自动化程度远没有想象中高。很多团队卡在这里不是因为造不出候选方案而是因为分不清哪个候选真的好。4. Agent 在这个故事里的位置从工具到研发参与者4.1 Agent 和普通模型调用的区别热词里Agent出现频率极高这不是偶然。Agent 和调一次模型拿一个回答最大的区别在于Agent 有目标、有记忆、有工具、能多步执行。它不是一个问答接口而是一个能自己拆任务、调工具、看结果、再决定下一步的执行体。放到AI 造 AI的语境里Agent 的价值就体现出来了它可以自己去读代码库、跑实验、看日志、改配置、再跑一轮。人只需要给目标和约束。这就是为什么Agent 开发、Agent 架构、Agent 记忆这些词会跟 RSI 话题绑在一起。4.2 一个研发型 Agent 的最小构成如果你想自己搭一个能参与研发流程的 Agent最小可用版本大概需要这几块任务规划把优化这个训练脚本拆成读代码、找瓶颈、提方案、验证。工具调用能执行代码、读文件、跑命令、查日志。记忆记住之前试过什么、哪些失败了、为什么失败。评估接口能拿到客观指标而不是自己说自己好。# 一个极简的研发 Agent 循环示意伪代码 while not done: plan agent.plan(goal, memory) action agent.choose_action(plan, tools) result execute(action) # 真实执行拿真实结果 score evaluate(result) # 客观评估不是模型自评 memory.update(action, result, score) if score best_score: best_score score best_solution action这段代码的重点不在语法而在那个evaluate——评估必须是外部的、客观的。如果让生成方案的模型自己给自己打分回路就会失真这是很多自研 Agent 项目翻车的地方。4.3 Agent 编排比单个 Agent 更重要热词里有Agent 框架与编排、多 AI 协作这指向一个实际经验单个 Agent 能力再强也容易在长任务里跑偏。更稳的做法是拆角色——一个负责生成一个负责审查一个负责执行一个负责汇总。角色之间互相制约比一个 Agent 自己既当运动员又当裁判要可靠得多。我在实际项目里见过太多一个 Agent 包打天下最后失控的案例。任务一长它就开始自我合理化把没验证的东西当成已验证的。多角色编排虽然麻烦但能显著降低这种风险。5. 智能爆炸离我们有多远把炒作和现实分开5.1 三个被夸大的说法说法一AI 已经在自主改进自己。现实是AI 在辅助人类改进 AI人类仍在关键决策点上。自主性有但有限。说法二能力曲线马上垂直上升。现实是回路有瓶颈算力、数据、评估、验证每一环都在拖后腿。曲线在变陡但不是垂直。说法三这件事只跟大厂有关。现实是Agent 开发、自动化评估、实验编排这些能力中小团队和个人开发者都在用。门槛在降低不是升高。5.2 三个被低估的事实事实一评估能力决定迭代上限。谁能更准、更快地判断方案好坏谁就能跑得更快。这是当前最值得投入的方向。事实二数据质量比数据数量更卡脖子。合成数据能补量但补不了质。高质量、有区分度的评估数据比海量低质数据值钱得多。事实三工程能力比模型能力更稀缺。会用模型的人很多能把模型、工具、评估、反馈串成一个稳定回路的人很少。这个差距在拉大。5.3 一个务实的判断我不认为短期内会出现无人干预的智能爆炸。但我认为研发流程的自动化会持续加速表现为实验周期缩短、候选方案变多、人工介入点后移。对从业者来说这意味着两件事——一是要会用 Agent 类工具提升自己的产出二是要守住评估和验证这两个不能被自动化掉的关键环节。6. 如果你在做 Agent 或模型相关开发现在可以做什么6.1 先把评估做扎实不管你做的是 Agent 还是模型训练评估系统都是最该先投入的地方。具体建议建一套固定的评估集不要每次换。评估指标要客观能自动算的绝不靠人感觉。保留失败案例失败样本比成功样本信息量大。定期人工抽检防止自动评估漂移。我踩过的坑是早期图省事让模型自己评估自己的输出结果回路越跑越偏模型学会了讨好评估器而不是解决问题。后来改成外部评估 人工抽检才稳下来。6.2 把 Agent 的记忆当一等公民Agent 记忆这个词在热词里出现说明大家已经意识到它的重要性。一个没有记忆的 Agent每次都在从零开始无法积累经验。记忆设计要注意记什么成功的方案、失败的方案、失败原因、环境约束。怎么存结构化存储别只存对话历史。怎么用检索相关经验而不是全量塞进上下文。6.3 控制回路的转速别让它空转回路跑得快不等于跑得好。我见过一些项目Agent 一天生成几百个方案但真正被验证有效的没几个大部分算力和时间都浪费在低质量候选上。控制转速的手段包括设置质量门槛低分方案直接丢弃不进入下一轮。限制每轮候选数量逼生成端提高质量。定期回顾看回路是不是在解决真问题。6.4 保持人在关键节点这不是保守是工程理性。当前阶段人在回路里负责的是定目标、审结果、改方向。这三件事自动化不了也不该自动化。把这三件事做好比追求全自动更有价值。7. 我个人的几点体会做这类项目几年下来最大的感受是真正难的不是让 AI 生成东西而是判断生成的东西值不值得留。生成能力在快速普及判断能力反而成了稀缺资源。Hinton 他们联名发声与其说是在警告AI 要失控不如说是在提醒整个行业当回路转速上来之后评估和验证的能力必须同步跟上否则加速的可能是错误。另一个体会是别被标题带着走。RSI、智能爆炸这些词有它们的技术含义但落到日常工程里就是一个个具体的回路、评估、记忆和编排问题。把这些问题解决好你就在参与这件事解决不好喊再多口号也没用。最后一个实用建议如果你还没搭过自己的 Agent 回路从最小的开始——一个目标、一个工具、一个客观评估、一个记忆。跑通了再往上加。别一上来就追求多 Agent 协作和复杂编排那是最容易翻车的地方。 
长河君 · 2026/10/10 10:55:04 · 阅读 1.2k AI造AI的工程真相：反馈回路、Agent与递归自我改进
1. 从一封联名公开信说起为什么这次讨论值得认真对待Hinton、Bengio 这些名字在深度学习圈子里是什么分量不用我多介绍。22 位研究者联名发声这件事本身就说明他们讨论的不是某个实验室里的技术细节而是一个已经逼近行业临界点的趋势。标题里那句AI 开始造 AI说的不是科幻电影里的机器人自我复制而是一个非常具体的工程现实用 AI 系统去参与 AI 系统本身的研发、训练、评估和迭代。这件事为什么让这批人坐不住因为过去十年 AI 能力的提升主要靠的是人往里砸资源——更多数据、更多算力、更多标注、更多调参工程师。而一旦 AI 能参与到造下一代 AI的环节里这个循环就可能从人推着走变成系统自己加速。关键词里的Feedback Loop反馈回路和RSIRecursive Self-Improvement递归自我改进说的就是这件事。我写这篇不是要制造焦虑而是想把这件事拆开来看它到底在技术层面指什么、现在走到了哪一步、哪些是真进展、哪些是被标题放大的部分。如果你在做 Agent 开发、模型训练或者 AI 工程相关的工作这个话题跟你的日常其实比想象中更近。2. AI 造 AI到底指什么拆开标题里的三个层次2.1 第一层AI 参与模型研发的辅助环节最容易被忽略、但已经大规模发生的一层是 AI 在模型研发流程里做辅助工。具体包括数据筛选与清洗用模型给训练数据打质量分筛掉低质样本这已经是很多团队的标配流程。超参搜索与实验调度用强化学习或贝叶斯方法去决定下一组实验跑什么配置减少人工试错。代码生成与优化让模型写训练脚本、改 kernel、做算子融合工程师只做审核。评估与红队测试用一批模型去自动生成测试用例找出另一批模型的漏洞和失效场景。这一层的关键词是Scaling——它不改变研发的本质但把研发的吞吐量放大了。原来一个团队一周能跑几十组实验现在能跑几百组。量变到一定程度就会影响整个领域的迭代速度。2.2 第二层AI 参与架构与算法的搜索再往深一层是让 AI 去搜索什么样的模型结构更好。这不算全新概念早期的神经架构搜索NAS就是这个思路。但现在的区别在于搜索空间更大、评估器更强、反馈信号更密。举个具体的逻辑传统 NAS 是给定一个搜索空间用某种策略找最优结构。而现在更激进的做法是让一个模型去读大量论文、代码和实验日志自己提出候选架构再交给评估系统打分把高分结果反馈回去继续生成。这就形成了一个闭环——生成、评估、反馈、再生成。关键词里的Feedback Loop在这里体现得最直接。2.3 第三层真正让人警惕的递归自我改进第三层才是标题里智能爆炸逼近真正指向的东西RSI。它的定义是一个系统能够改进自己而改进后的版本又能更高效地改进自己形成加速循环。这里必须说清楚一个边界目前没有任何公开证据表明存在一个完全自主、无需人类介入、能持续自我升级的 AI 系统。现在能观察到的是人在回路中的加速——人设定目标、审核结果、决定方向AI 负责在既定框架内高速迭代。这个区别非常重要因为人在回路和人不在回路是两种完全不同的风险等级。3. 反馈回路是怎么转起来的一个可复现的工程视角3.1 回路的基本结构要理解为什么这批研究者紧张得先看清这个回路长什么样。抛开抽象讨论一个典型的AI 参与 AI 研发回路包含四个环节生成由模型产出候选方案代码、架构、数据配方、评估用例。执行在真实环境里跑这些方案拿到客观指标。评估把指标转成可比较的分数判断哪些方案值得保留。反馈把高分方案的特征回灌给生成环节指导下一次产出。这个结构本身不新鲜强化学习就是这个套路。新鲜的地方在于生成环节和执行环节的能力都变强了。生成端是强模型执行端是自动化实验平台评估端是另一批模型。三个环节都上了强度回路转速自然就上去了。3.2 为什么转速是关键变量我用一个类比说明。假设你有一个工人他一天能改进一件工具。现在你给他配了一个助手助手能帮他把改进方案快速试出来工人一天能改进三件。再给助手配一个能自动记录和筛选的评估系统工人一天能改进十件。工人本身没变聪明但整个系统的产出速度变了。AI 研发领域现在发生的就是这件事。单个模型的智力上限可能没有质变但研发流程的自动化程度在快速提升。当流程自动化到一定程度单位时间内产生的有效改进就会累积累积到某个点就会表现为能力曲线变陡。3.3 回路里的瓶颈在哪回路不是无限加速的它有几个硬瓶颈瓶颈环节具体限制当前缓解手段算力训练和评估都要烧卡更高效的训练方法、推理优化数据高质量数据有限合成数据、数据筛选评估自动评估未必准人审 多模型交叉验证验证真实效果要时间检验小规模灰度、A/B 测试我个人的观察是评估环节是最容易被低估的瓶颈。生成很快执行也不慢但判断一个方案到底好不好这件事自动化程度远没有想象中高。很多团队卡在这里不是因为造不出候选方案而是因为分不清哪个候选真的好。4. Agent 在这个故事里的位置从工具到研发参与者4.1 Agent 和普通模型调用的区别热词里Agent出现频率极高这不是偶然。Agent 和调一次模型拿一个回答最大的区别在于Agent 有目标、有记忆、有工具、能多步执行。它不是一个问答接口而是一个能自己拆任务、调工具、看结果、再决定下一步的执行体。放到AI 造 AI的语境里Agent 的价值就体现出来了它可以自己去读代码库、跑实验、看日志、改配置、再跑一轮。人只需要给目标和约束。这就是为什么Agent 开发、Agent 架构、Agent 记忆这些词会跟 RSI 话题绑在一起。4.2 一个研发型 Agent 的最小构成如果你想自己搭一个能参与研发流程的 Agent最小可用版本大概需要这几块任务规划把优化这个训练脚本拆成读代码、找瓶颈、提方案、验证。工具调用能执行代码、读文件、跑命令、查日志。记忆记住之前试过什么、哪些失败了、为什么失败。评估接口能拿到客观指标而不是自己说自己好。# 一个极简的研发 Agent 循环示意伪代码 while not done: plan agent.plan(goal, memory) action agent.choose_action(plan, tools) result execute(action) # 真实执行拿真实结果 score evaluate(result) # 客观评估不是模型自评 memory.update(action, result, score) if score best_score: best_score score best_solution action这段代码的重点不在语法而在那个evaluate——评估必须是外部的、客观的。如果让生成方案的模型自己给自己打分回路就会失真这是很多自研 Agent 项目翻车的地方。4.3 Agent 编排比单个 Agent 更重要热词里有Agent 框架与编排、多 AI 协作这指向一个实际经验单个 Agent 能力再强也容易在长任务里跑偏。更稳的做法是拆角色——一个负责生成一个负责审查一个负责执行一个负责汇总。角色之间互相制约比一个 Agent 自己既当运动员又当裁判要可靠得多。我在实际项目里见过太多一个 Agent 包打天下最后失控的案例。任务一长它就开始自我合理化把没验证的东西当成已验证的。多角色编排虽然麻烦但能显著降低这种风险。5. 智能爆炸离我们有多远把炒作和现实分开5.1 三个被夸大的说法说法一AI 已经在自主改进自己。现实是AI 在辅助人类改进 AI人类仍在关键决策点上。自主性有但有限。说法二能力曲线马上垂直上升。现实是回路有瓶颈算力、数据、评估、验证每一环都在拖后腿。曲线在变陡但不是垂直。说法三这件事只跟大厂有关。现实是Agent 开发、自动化评估、实验编排这些能力中小团队和个人开发者都在用。门槛在降低不是升高。5.2 三个被低估的事实事实一评估能力决定迭代上限。谁能更准、更快地判断方案好坏谁就能跑得更快。这是当前最值得投入的方向。事实二数据质量比数据数量更卡脖子。合成数据能补量但补不了质。高质量、有区分度的评估数据比海量低质数据值钱得多。事实三工程能力比模型能力更稀缺。会用模型的人很多能把模型、工具、评估、反馈串成一个稳定回路的人很少。这个差距在拉大。5.3 一个务实的判断我不认为短期内会出现无人干预的智能爆炸。但我认为研发流程的自动化会持续加速表现为实验周期缩短、候选方案变多、人工介入点后移。对从业者来说这意味着两件事——一是要会用 Agent 类工具提升自己的产出二是要守住评估和验证这两个不能被自动化掉的关键环节。6. 如果你在做 Agent 或模型相关开发现在可以做什么6.1 先把评估做扎实不管你做的是 Agent 还是模型训练评估系统都是最该先投入的地方。具体建议建一套固定的评估集不要每次换。评估指标要客观能自动算的绝不靠人感觉。保留失败案例失败样本比成功样本信息量大。定期人工抽检防止自动评估漂移。我踩过的坑是早期图省事让模型自己评估自己的输出结果回路越跑越偏模型学会了讨好评估器而不是解决问题。后来改成外部评估 人工抽检才稳下来。6.2 把 Agent 的记忆当一等公民Agent 记忆这个词在热词里出现说明大家已经意识到它的重要性。一个没有记忆的 Agent每次都在从零开始无法积累经验。记忆设计要注意记什么成功的方案、失败的方案、失败原因、环境约束。怎么存结构化存储别只存对话历史。怎么用检索相关经验而不是全量塞进上下文。6.3 控制回路的转速别让它空转回路跑得快不等于跑得好。我见过一些项目Agent 一天生成几百个方案但真正被验证有效的没几个大部分算力和时间都浪费在低质量候选上。控制转速的手段包括设置质量门槛低分方案直接丢弃不进入下一轮。限制每轮候选数量逼生成端提高质量。定期回顾看回路是不是在解决真问题。6.4 保持人在关键节点这不是保守是工程理性。当前阶段人在回路里负责的是定目标、审结果、改方向。这三件事自动化不了也不该自动化。把这三件事做好比追求全自动更有价值。7. 我个人的几点体会做这类项目几年下来最大的感受是真正难的不是让 AI 生成东西而是判断生成的东西值不值得留。生成能力在快速普及判断能力反而成了稀缺资源。Hinton 他们联名发声与其说是在警告AI 要失控不如说是在提醒整个行业当回路转速上来之后评估和验证的能力必须同步跟上否则加速的可能是错误。另一个体会是别被标题带着走。RSI、智能爆炸这些词有它们的技术含义但落到日常工程里就是一个个具体的回路、评估、记忆和编排问题。把这些问题解决好你就在参与这件事解决不好喊再多口号也没用。最后一个实用建议如果你还没搭过自己的 Agent 回路从最小的开始——一个目标、一个工具、一个客观评估、一个记忆。跑通了再往上加。别一上来就追求多 Agent 协作和复杂编排那是最容易翻车的地方。