《Agentic Design Patterns》第 9 章导读学习与适应Learning and Adaptation本文是对开源书籍《Agentic Design Patterns》第 9 章的解读与导读内容忠实呈现原文并附个人思考。原书在线阅读https://adp.xindoo.xyz/ 翻译项目代码仓库https://github.com/xindoo/agentic-design-patterns如果说前几章讲的是怎么让智能体把事情做好那第 9 章讲的就是更本质的问题怎么让智能体自己变得越来越强这就是**学习与适应Learning and Adaptation**模式——让智能体突破预设参数的限制通过经验和环境交互实现自主提升。不需要人持续干预它就能应对新情况、优化自己的表现。这一章的内容也最有科幻感——因为它涉及到智能体自我修改的可能性。一、智能体的六种学习方式书中首先梳理了智能体可以使用的六种主要学习方法覆盖了从传统机器学习到 LLM 时代的各种范式学习方式原理适用场景强化学习试错 奖惩好的行为加分坏的扣分机器人控制、游戏 AI监督学习从标注示例中学习输入到输出的映射邮件分类、趋势预测无监督学习在未标注数据中发现隐藏模式和关联数据探索、聚类分析LLM 少样本/零样本学习靠大模型自身的通用能力给几个示例或明确指令就能上手新任务快速适配新任务、新指令在线学习持续接收数据流实时更新模型动态环境、实时优化基于记忆的学习回忆过往经验来调整当前行动有记忆召回能力的智能体这里有个概念需要区分学习和适应不是一回事。学习是过程——智能体基于新经验和数据改变思维方式、行动或知识适应是结果——学习导致的行为或知识的可见变化。学习是内化适应是外化。二、两种关键算法PPO 与 DPO书中专门介绍了两种在 LLM 对齐领域非常重要的算法——因为它们关系到怎么让智能体的行为符合人类期望这个核心问题。PPO近端策略优化PPO 是强化学习领域的经典算法核心思想是**“小步快跑、稳扎稳打”**智能体用当前策略跟环境交互收集一批经验数据计算策略更新对预期奖励的影响用裁剪机制把更新幅度限制在一个安全区里——不能一次改太多。为什么要裁剪因为如果策略更新太剧烈智能体可能学崩——之前学到的好东西全忘了性能反而断崖式下跌。PPO 就像一个安全刹车确保每一步改进都是小而稳的避免灾难性遗忘。DPO直接偏好优化DPO 是后来居上的新方法专门为 LLM 对齐设计比 PPO 简单得多。传统的 PPO 对齐是个两步过程先收集人类偏好数据训练一个奖励模型当评委再用 PPO 微调 LLM让它生成能拿高分的回答。问题是这个过程又复杂又不稳定——LLM 甚至可能找到奖励模型的漏洞投机取巧拿高分但回答质量并不高。DPO 的思路很直接跳过奖励模型直接用偏好数据更新 LLM。它利用了一个数学关系——偏好数据和最优策略之间可以直接挂钩。简单说就是增加生成偏好回答的概率降低生成不喜欢回答的概率。不用训练单独的奖励模型不用复杂的强化学习循环一步到位。更简单、更稳定、效果也不差。这也是为什么 DPO 现在越来越流行。三、应用场景自适应智能体在哪里发挥价值学习与适应能力让智能体在多变环境中表现更强。书中举了 8 个典型场景个性化助手长期分析用户行为模式越用越懂你响应越来越贴合习惯交易机器人基于实时市场数据动态调整策略参数在风险和收益之间找最优平衡应用界面智能体根据用户行为动态调整界面功能提升可用性和参与度机器人/自动驾驶整合传感器数据和历史经验在各种环境下越开越稳欺诈检测识别新的欺诈模式持续改进预测模型减少漏判和误判推荐系统学习用户偏好变化推荐越来越精准、越来越贴合上下文游戏 AI动态调整战略难度保持挑战性让玩家不觉得无聊也不被劝退知识库学习智能体用 RAG 维护问题-解决方案的动态知识库——遇到新问题、找到好方案就存下来下次直接用。最后这个知识库学习的思路特别实用它不需要改模型只需要把成功经验和踩过的坑存进知识库下次遇到类似情况就能直接参考。成本低、见效快、还安全。四、硬核案例SICA——能自己改自己代码的智能体如果说上面这些还是常规操作那SICASelf-Improving Coding Agent自我改进编码智能体就真的有点细思极恐的味道了。SICA 最特别的地方它既是修改者又是被修改者。它直接修改自己的源代码然后用修改后的自己继续工作、继续改进。图 1SICA 的自我改进循环——审查历史版本 → 选择最优版本 → 分析改进点 → 修改代码 → 基准测试 → 记录结果 → 重复。整个过程是一个迭代循环审查档案看自己的历史版本和各版本在基准测试中的表现选一个性能最好的当起点分析改进点找一找哪里可以优化直接改代码自己修改自己的代码库跑基准测试测一测改完之后变强了还是变弱了记录归档把新版本和测试结果存起来重复继续下一轮自我改进。SICA 确实通过这种方式实现了显著的自我进化。比如在代码编辑方面一开始只能用文件覆盖这种笨方法改代码后来自己开发出了智能编辑器能做更精准的上下文相关编辑再后来又进化出差异增强智能编辑器结合 diff 做针对性修改甚至用上了 AST抽象语法树解析来提高效率。在代码导航方面它自己搞出了AST 符号定位器——用代码的结构图来找定义后来又优化成混合符号定位器把快速搜索和 AST 检查结合起来。图 2SICA 多轮迭代后的性能提升曲线——每一次自我改进都带来 measurable 的性能增益。SICA 的架构也很有参考价值模块化主智能体 专门子智能体编码、问题解决、推理复杂任务拆给子智能体做异步监督者另一个 LLM 在旁边盯着发现死循环、停滞不前就介入叫停结构化上下文LLM 的上下文窗口按固定格式组织——系统提示词、工具文档、核心问题、推理记录、监督者通信……信息井然有序处理效率高Docker 容器化在隔离环境里运行防止智能体改代码时把主机搞崩安全考虑非常必要。当然SICA 也有局限。书中提到一个核心挑战怎么让 LLM 智能体每次都想出真正有新意、可行、又有效的改进方案开放式学习和真正的创造力仍然是当前研究的关键前沿。五、进化算法 LLMAlphaEvolve 与 OpenEvolve另一个有趣的方向是把 LLM 和进化算法结合起来让 AI 自己发现和优化算法。AlphaEvolveGoogleAlphaEvolve 是 Google DeepMind 搞的用 Gemini 模型 自动化评估 进化算法框架来发现和优化算法。它的工作流生成提案用 Gemini Flash 大量生成初始算法方案量大管饱深入分析用 Gemini Pro 对方案做更深入的分析和改进自动评估按预定义标准给算法打分迭代优化用评估反馈继续改进循环往复。成果相当硬核数据中心调度优化全球计算资源使用减少 0.7%硬件设计优化为下一代 TPU 的 Verilog 代码提建议AI 性能加速Gemini 架构核心内核提速 23%FlashAttention 的 GPU 指令最高优化 32.5%基础数学研究发现了 4x4 复数值矩阵乘法的新算法只用 48 次标量乘法超过之前已知方案在 75% 的情况下重新发现了 50 多个开放问题的现有最优解20% 的情况下还有改进。一句话AI 已经开始自己设计更快的 AI 了。OpenEvolveOpenEvolve 是一个开源的进化编码智能体核心特点是用 LLM 迭代优化代码进化的是完整代码文件不只是单个函数支持多种编程语言兼容任何 OpenAI 兼容 API支持多目标优化、分布式评估。图 3OpenEvolve 内部架构——控制器管全局LLM 生成代码变体评估器打分筛选一代一代进化。使用也很简单fromopenevolveimportOpenEvolve evolveOpenEvolve(initial_program_pathpath/to/initial_program.py,evaluation_filepath/to/evaluator.py,config_pathpath/to/config.yaml)best_programawaitevolve.run(iterations1000)给它一个初始程序、一个评估脚本、一个配置文件跑 1000 轮进化最后给你最优版本。六、速览问题背景AI 智能体通常在动态、不可预测的环境中运行预编程的逻辑不够用。遇到没预料到的新情况性能就下降。没有从经验中学习的能力智能体就没法随时间优化策略、没法个性化交互。这种僵化限制了它的有效性也阻止了它在复杂现实场景中实现真正的自主性。解决方案集成学习和适应机制把静态智能体变成动态演化的系统。让智能体能基于新数据和交互自主改进知识和行为。方法很多——从强化学习到 SICA 那样的自我修改再到 AlphaEvolve 那样用 LLM 进化算法发现全新的高效方案。通过持续学习智能体可以掌握新任务、提升性能、适应变化不用人反复手动改代码。实践建议构建必须在动态、不确定或不断演化的环境中运行的智能体时使用此模式。对于需要个性化、持续性能改进、自主应对新情况的应用学习与适应能力至关重要。七、可视化总结图 4学习和适应模式——智能体通过经验自主改进行为与知识。关键要点学习和适应是智能体通过经验改进自身行为、应对新情况的过程适应是学习导致的行为或知识的可见变化SICA自我改进编码智能体通过修改自己的代码来自我改进产生了智能编辑器、AST 符号定位器等工具专门的子智能体和监督者帮助自我改进系统管理复杂任务、保持正轨LLM 上下文窗口的组织方式系统提示词、核心提示词、助手消息对智能体效率至关重要配备基本编码工具的智能体系统可以自主编辑自身从而提升基准任务性能AlphaEvolve 利用 LLM 和进化框架自主发现和优化算法在基础研究和实际计算中都取得了显著成果。结语与个人思考学习与适应是这本书到目前为止最有哲学意味的一章——因为它触及了一个根本问题智能体能不能自己变得更聪明答案是能而且已经在发生了。SICA 自己改自己的代码、自己优化自己的工具AlphaEvolve 自己发现更快的算法、自己优化 AI 的核心内核。这些都不是科幻而是已经实现的事情。但兴奋之余也有几个值得冷静思考的问题第一个是对齐问题的放大。如果智能体有自我改进的能力那它的目标对齐就变得极端重要。一个目标稍有偏差的智能体经过多轮自我改进后偏差可能会被放大到不可接受的程度。这也是为什么 SICA 需要一个异步监督者在旁边盯着——但监督者本身也是 LLM它就一定可靠吗第二个是改进的天花板。SICA 的改进依赖于 LLM 能不能想出新颖、可行、有效的修改方案。LLM 的创造力本质上是对已有知识的重新组合而不是真正的从 0 到 1 的突破。当改进进入深水区还能不能持续推进这还是个未知数。第三个是安全性。能自我修改的智能体安全风险比普通智能体高得多。一个 bug 就可能让它改坏自己甚至改出不可控的行为。SICA 用 Docker 容器化来隔离这是必要的但可能还不够——如果智能体学会了逃出容器呢最后我觉得最值得关注的趋势是AI 改进 AI 的正循环。AlphaEvolve 优化了 Gemini 的核心内核让 Gemini 变得更快更快的 Gemini 又可以用来做更多的算法发现进一步提升 AI 的性能。这种自己拉自己的鞋带的正循环一旦转起来加速度可能会超出所有人的预期。当然现在还早。目前的自我改进更多是在工具层面和算法层面还远没到自我意识或超级智能的程度。但方向已经很明确了——智能体的进化不再完全依赖人类的设计。下一步建议阅读第 10 章模型上下文协议MCP——看看怎么用标准化协议让智能体连接各种外部工具和数据源。本文基于开源书籍《Agentic Design Patterns》https://github.com/xindoo/agentic-design-patterns 在线阅读 https://adp.xindoo.xyz/ 整理供学习交流版权归原作者所有。 
长河君 · 2026/10/10 9:12:31 · 阅读 1.2k 《Agentic Design Patterns》第 9 章导读：学习与适应（Learning and Adaptation）
《Agentic Design Patterns》第 9 章导读学习与适应Learning and Adaptation本文是对开源书籍《Agentic Design Patterns》第 9 章的解读与导读内容忠实呈现原文并附个人思考。原书在线阅读https://adp.xindoo.xyz/ 翻译项目代码仓库https://github.com/xindoo/agentic-design-patterns如果说前几章讲的是怎么让智能体把事情做好那第 9 章讲的就是更本质的问题怎么让智能体自己变得越来越强这就是**学习与适应Learning and Adaptation**模式——让智能体突破预设参数的限制通过经验和环境交互实现自主提升。不需要人持续干预它就能应对新情况、优化自己的表现。这一章的内容也最有科幻感——因为它涉及到智能体自我修改的可能性。一、智能体的六种学习方式书中首先梳理了智能体可以使用的六种主要学习方法覆盖了从传统机器学习到 LLM 时代的各种范式学习方式原理适用场景强化学习试错 奖惩好的行为加分坏的扣分机器人控制、游戏 AI监督学习从标注示例中学习输入到输出的映射邮件分类、趋势预测无监督学习在未标注数据中发现隐藏模式和关联数据探索、聚类分析LLM 少样本/零样本学习靠大模型自身的通用能力给几个示例或明确指令就能上手新任务快速适配新任务、新指令在线学习持续接收数据流实时更新模型动态环境、实时优化基于记忆的学习回忆过往经验来调整当前行动有记忆召回能力的智能体这里有个概念需要区分学习和适应不是一回事。学习是过程——智能体基于新经验和数据改变思维方式、行动或知识适应是结果——学习导致的行为或知识的可见变化。学习是内化适应是外化。二、两种关键算法PPO 与 DPO书中专门介绍了两种在 LLM 对齐领域非常重要的算法——因为它们关系到怎么让智能体的行为符合人类期望这个核心问题。PPO近端策略优化PPO 是强化学习领域的经典算法核心思想是**“小步快跑、稳扎稳打”**智能体用当前策略跟环境交互收集一批经验数据计算策略更新对预期奖励的影响用裁剪机制把更新幅度限制在一个安全区里——不能一次改太多。为什么要裁剪因为如果策略更新太剧烈智能体可能学崩——之前学到的好东西全忘了性能反而断崖式下跌。PPO 就像一个安全刹车确保每一步改进都是小而稳的避免灾难性遗忘。DPO直接偏好优化DPO 是后来居上的新方法专门为 LLM 对齐设计比 PPO 简单得多。传统的 PPO 对齐是个两步过程先收集人类偏好数据训练一个奖励模型当评委再用 PPO 微调 LLM让它生成能拿高分的回答。问题是这个过程又复杂又不稳定——LLM 甚至可能找到奖励模型的漏洞投机取巧拿高分但回答质量并不高。DPO 的思路很直接跳过奖励模型直接用偏好数据更新 LLM。它利用了一个数学关系——偏好数据和最优策略之间可以直接挂钩。简单说就是增加生成偏好回答的概率降低生成不喜欢回答的概率。不用训练单独的奖励模型不用复杂的强化学习循环一步到位。更简单、更稳定、效果也不差。这也是为什么 DPO 现在越来越流行。三、应用场景自适应智能体在哪里发挥价值学习与适应能力让智能体在多变环境中表现更强。书中举了 8 个典型场景个性化助手长期分析用户行为模式越用越懂你响应越来越贴合习惯交易机器人基于实时市场数据动态调整策略参数在风险和收益之间找最优平衡应用界面智能体根据用户行为动态调整界面功能提升可用性和参与度机器人/自动驾驶整合传感器数据和历史经验在各种环境下越开越稳欺诈检测识别新的欺诈模式持续改进预测模型减少漏判和误判推荐系统学习用户偏好变化推荐越来越精准、越来越贴合上下文游戏 AI动态调整战略难度保持挑战性让玩家不觉得无聊也不被劝退知识库学习智能体用 RAG 维护问题-解决方案的动态知识库——遇到新问题、找到好方案就存下来下次直接用。最后这个知识库学习的思路特别实用它不需要改模型只需要把成功经验和踩过的坑存进知识库下次遇到类似情况就能直接参考。成本低、见效快、还安全。四、硬核案例SICA——能自己改自己代码的智能体如果说上面这些还是常规操作那SICASelf-Improving Coding Agent自我改进编码智能体就真的有点细思极恐的味道了。SICA 最特别的地方它既是修改者又是被修改者。它直接修改自己的源代码然后用修改后的自己继续工作、继续改进。图 1SICA 的自我改进循环——审查历史版本 → 选择最优版本 → 分析改进点 → 修改代码 → 基准测试 → 记录结果 → 重复。整个过程是一个迭代循环审查档案看自己的历史版本和各版本在基准测试中的表现选一个性能最好的当起点分析改进点找一找哪里可以优化直接改代码自己修改自己的代码库跑基准测试测一测改完之后变强了还是变弱了记录归档把新版本和测试结果存起来重复继续下一轮自我改进。SICA 确实通过这种方式实现了显著的自我进化。比如在代码编辑方面一开始只能用文件覆盖这种笨方法改代码后来自己开发出了智能编辑器能做更精准的上下文相关编辑再后来又进化出差异增强智能编辑器结合 diff 做针对性修改甚至用上了 AST抽象语法树解析来提高效率。在代码导航方面它自己搞出了AST 符号定位器——用代码的结构图来找定义后来又优化成混合符号定位器把快速搜索和 AST 检查结合起来。图 2SICA 多轮迭代后的性能提升曲线——每一次自我改进都带来 measurable 的性能增益。SICA 的架构也很有参考价值模块化主智能体 专门子智能体编码、问题解决、推理复杂任务拆给子智能体做异步监督者另一个 LLM 在旁边盯着发现死循环、停滞不前就介入叫停结构化上下文LLM 的上下文窗口按固定格式组织——系统提示词、工具文档、核心问题、推理记录、监督者通信……信息井然有序处理效率高Docker 容器化在隔离环境里运行防止智能体改代码时把主机搞崩安全考虑非常必要。当然SICA 也有局限。书中提到一个核心挑战怎么让 LLM 智能体每次都想出真正有新意、可行、又有效的改进方案开放式学习和真正的创造力仍然是当前研究的关键前沿。五、进化算法 LLMAlphaEvolve 与 OpenEvolve另一个有趣的方向是把 LLM 和进化算法结合起来让 AI 自己发现和优化算法。AlphaEvolveGoogleAlphaEvolve 是 Google DeepMind 搞的用 Gemini 模型 自动化评估 进化算法框架来发现和优化算法。它的工作流生成提案用 Gemini Flash 大量生成初始算法方案量大管饱深入分析用 Gemini Pro 对方案做更深入的分析和改进自动评估按预定义标准给算法打分迭代优化用评估反馈继续改进循环往复。成果相当硬核数据中心调度优化全球计算资源使用减少 0.7%硬件设计优化为下一代 TPU 的 Verilog 代码提建议AI 性能加速Gemini 架构核心内核提速 23%FlashAttention 的 GPU 指令最高优化 32.5%基础数学研究发现了 4x4 复数值矩阵乘法的新算法只用 48 次标量乘法超过之前已知方案在 75% 的情况下重新发现了 50 多个开放问题的现有最优解20% 的情况下还有改进。一句话AI 已经开始自己设计更快的 AI 了。OpenEvolveOpenEvolve 是一个开源的进化编码智能体核心特点是用 LLM 迭代优化代码进化的是完整代码文件不只是单个函数支持多种编程语言兼容任何 OpenAI 兼容 API支持多目标优化、分布式评估。图 3OpenEvolve 内部架构——控制器管全局LLM 生成代码变体评估器打分筛选一代一代进化。使用也很简单fromopenevolveimportOpenEvolve evolveOpenEvolve(initial_program_pathpath/to/initial_program.py,evaluation_filepath/to/evaluator.py,config_pathpath/to/config.yaml)best_programawaitevolve.run(iterations1000)给它一个初始程序、一个评估脚本、一个配置文件跑 1000 轮进化最后给你最优版本。六、速览问题背景AI 智能体通常在动态、不可预测的环境中运行预编程的逻辑不够用。遇到没预料到的新情况性能就下降。没有从经验中学习的能力智能体就没法随时间优化策略、没法个性化交互。这种僵化限制了它的有效性也阻止了它在复杂现实场景中实现真正的自主性。解决方案集成学习和适应机制把静态智能体变成动态演化的系统。让智能体能基于新数据和交互自主改进知识和行为。方法很多——从强化学习到 SICA 那样的自我修改再到 AlphaEvolve 那样用 LLM 进化算法发现全新的高效方案。通过持续学习智能体可以掌握新任务、提升性能、适应变化不用人反复手动改代码。实践建议构建必须在动态、不确定或不断演化的环境中运行的智能体时使用此模式。对于需要个性化、持续性能改进、自主应对新情况的应用学习与适应能力至关重要。七、可视化总结图 4学习和适应模式——智能体通过经验自主改进行为与知识。关键要点学习和适应是智能体通过经验改进自身行为、应对新情况的过程适应是学习导致的行为或知识的可见变化SICA自我改进编码智能体通过修改自己的代码来自我改进产生了智能编辑器、AST 符号定位器等工具专门的子智能体和监督者帮助自我改进系统管理复杂任务、保持正轨LLM 上下文窗口的组织方式系统提示词、核心提示词、助手消息对智能体效率至关重要配备基本编码工具的智能体系统可以自主编辑自身从而提升基准任务性能AlphaEvolve 利用 LLM 和进化框架自主发现和优化算法在基础研究和实际计算中都取得了显著成果。结语与个人思考学习与适应是这本书到目前为止最有哲学意味的一章——因为它触及了一个根本问题智能体能不能自己变得更聪明答案是能而且已经在发生了。SICA 自己改自己的代码、自己优化自己的工具AlphaEvolve 自己发现更快的算法、自己优化 AI 的核心内核。这些都不是科幻而是已经实现的事情。但兴奋之余也有几个值得冷静思考的问题第一个是对齐问题的放大。如果智能体有自我改进的能力那它的目标对齐就变得极端重要。一个目标稍有偏差的智能体经过多轮自我改进后偏差可能会被放大到不可接受的程度。这也是为什么 SICA 需要一个异步监督者在旁边盯着——但监督者本身也是 LLM它就一定可靠吗第二个是改进的天花板。SICA 的改进依赖于 LLM 能不能想出新颖、可行、有效的修改方案。LLM 的创造力本质上是对已有知识的重新组合而不是真正的从 0 到 1 的突破。当改进进入深水区还能不能持续推进这还是个未知数。第三个是安全性。能自我修改的智能体安全风险比普通智能体高得多。一个 bug 就可能让它改坏自己甚至改出不可控的行为。SICA 用 Docker 容器化来隔离这是必要的但可能还不够——如果智能体学会了逃出容器呢最后我觉得最值得关注的趋势是AI 改进 AI 的正循环。AlphaEvolve 优化了 Gemini 的核心内核让 Gemini 变得更快更快的 Gemini 又可以用来做更多的算法发现进一步提升 AI 的性能。这种自己拉自己的鞋带的正循环一旦转起来加速度可能会超出所有人的预期。当然现在还早。目前的自我改进更多是在工具层面和算法层面还远没到自我意识或超级智能的程度。但方向已经很明确了——智能体的进化不再完全依赖人类的设计。下一步建议阅读第 10 章模型上下文协议MCP——看看怎么用标准化协议让智能体连接各种外部工具和数据源。本文基于开源书籍《Agentic Design Patterns》https://github.com/xindoo/agentic-design-patterns 在线阅读 https://adp.xindoo.xyz/ 整理供学习交流版权归原作者所有。