1. 失忆是Agent的默认出厂设置问题根源拆解我猜很多人跟我一样第一次被AI Agent惊艳到之后紧接着就会被同一个问题折磨到抓狂——每次开一个新会话它都像失忆了一样完全不记得你上次跟它交代过的背景、偏好和正在处理的事情。你跟它说过“我是做跨境电商的运营三个店铺主攻北美市场”下次对话它照样问你是做什么的。你让它按照某个特定风格写文案隔天它就忘得一干二净。这种感觉很像你每天都要跟同一个同事重新自我介绍一遍而他每次都彬彬有礼地听完然后第二天继续问“你在哪个部门来着”。这个问题的本质不在于模型本身傻而在于大语言模型天然就是“无状态”的。它对你的所有“了解”只存在于当前请求所携带的上下文里。你关掉这个会话上下文清空一切归零。所以想真正让Agent记住你得绕过模型天然的无状态限制在外部为它搭建一套记忆系统。1.1 上下文窗口不是记忆只是一个“临时工牌”很多人把上下文窗口当成记忆这是个根深蒂固的误解。上下文窗口Context Window的本质是模型在一次推理过程中能“看到”的文本总量。假设模型支持128K token的上下文那它确实能在本次对话里塞下相当多的历史内容让模型“假装”记得之前的对话。但这带来了两个致命问题。第一个是成本问题。每调用一次模型你都要把所有历史对话重新发送一遍。对话轮数越多Token消耗越大费用呈线性甚至超线性增长。实时聊天场景下几轮对话就烧掉几万Token是常有的事。我见过不少团队Agent刚上线时看着挺好跑了一周之后一算账单直接傻眼。第二个是质量稀释问题。当上下文里堆满了历史消息模型需要处理的信息量暴增它对当前用户意图的注意力会被稀释。更麻烦的是上下文里大量低价值的历史细节会干扰模型判断导致回答质量下降。有研究表明当相关上下文被埋在大量无关历史中时模型的表现会明显变差——这和人类一样让你在一本五百页的小说里找一句话你没读过的概率也很大。所以短期记忆可以靠上下文窗口实现但不能全靠它。真正解决“记住你”这个问题需要的是一个独立的记忆系统在对话之外把关键信息存下来需要时再精准地调取出来喂给模型。1.2 会话隔离为什么每次对话都是“初见”另一个让Agent“失忆”的技术原因是会话隔离机制。大多数Agent应用在做多用户服务时会用Session ID来区分不同用户的对话。这是必要的否则用户A的数据就会泄露给用户B。但很多实现方案只做了“隔离”没有做“承接”——上一轮会话结束之后除了存储了一条聊天记录日志没有任何信息被提炼、被结构化、被转存到用户的长期资料库中。于是大家遇到的情况就是聊天记录明明都存在数据库里但Agent就是“想不起来”。这个现象特别能说明问题——存储不等于记忆。就像你每天写日记但写完之后再也不回头翻看日记对你的行为决策没有任何影响。Agent也一样历史记录躺在数据库里但它不知道什么时候该去查、查什么、查到的内容怎么影响当前回答。这背后缺的是一个完整的记忆工作流写入、提取、存储、检索、注入、更新。1.3 你以为的“记忆”其实是“提示词注入”市面上很多号称“有记忆”的Agent产品扒开一看实现方案极其粗暴把用户的历史对话全文拼接到系统提示词后面。这种方式我在刚入行的时候也用效果嘛Demo里跑通没问题一上生产就露馅。首先对话全文拼接意味着Token开销极大。假设一个用户跟你聊了100轮每轮平均300字全量拼接可能就要花掉小一万Token。这对于本来就有成本压力的商业化应用来说是不可持续的。其次全文拼接会让模型“抓不住重点”。用户三个月前说过一句“我喜欢简洁风格”夹在几百轮对话里模型根本不知道这句话在当前场景下有多重要。更要命的是如果拼接的内容中包含了用户在当时情绪下说的玩笑话、口语化表达模型可能直接当真反而弄错了用户的真实需求。所以说让Agent记住你不等于让它背下所有聊天记录。真正的记忆系统要做的是“提取关键信息→结构化存储→按需精准召回”。接下来的内容我会从记忆的分类、技术实现、工程落地到调优把这个链路完整拆开讲清楚。2. 短期记忆、长期记忆、工作记忆先搞懂Agent到底需要哪几种记忆要让Agent有记忆第一步不是写代码而是先想明白一个问题Agent需要哪几种记忆把这个问题想清楚了后面所有的技术选型都顺理成章。在人脑的认知科学里记忆从来不是单一体系。我们既有临时记住一串电话号码的短期记忆也有从小到大积累的长期记忆还有在当前任务中“正在调用”的工作记忆。Agent其实也一样——你不可能靠一套方案解决所有记忆需求。2.1 工作记忆、情景记忆与语义记忆的区分我一般把Agent的记忆分成三个层次工作记忆对应的是当前任务进行中的临时信息。比如你让Agent帮你写一份产品方案它需要记住你前面说的几个关键要求“受众是中小商家”“预算控制在5万以内”“突出性价比”。这些信息只在当前这个任务里有价值任务结束之后就可以丢弃。在技术实现上工作记忆通常直接放在系统提示词和对话上下文中不需要持久化。情景记忆对应的是你和Agent之间的具体交互历史。比如你上周一让它帮你分析过一份销售数据当时你提到过“Q2增长放缓的主要原因是北美市场物流成本上升”。这类记忆的价值在于下次你再次讨论销售策略时Agent能主动调取这条背景而不需要你重新描述一遍。情景记忆的核心特征是与时间、场景强相关需要一个能够按场景检索的存储系统。语义记忆对应的是关于你的抽象化、结构化事实。比如“用户是跨境电商从业者”“用户偏好简洁直接的文案风格”“用户负责三个店铺主攻北美市场”。这类记忆已经脱离了具体事件是长期沉淀下来的、稳定的用户画像信息。语义记忆是长期记忆系统中的核心资产它决定了Agent是否能真正“了解你”。理解这三者的区别非常关键。很多失败的Agent记忆项目问题就出在混为一谈——把情景记忆当语义记忆存大量历史细节堆在一起检索的时候什么都捞不上来或者把语义记忆当工作记忆用每次对话都全部往上下文里塞成本直接爆炸。2.2 双网络记忆模型快慢结合的灵感在拆解记忆的技术方案时我参考了认知科学里的双网络记忆模型。简单说人脑有两套并行的记忆系统一套是海马体主导的快速编码系统负责迅速记住当下发生的事情另一套是大脑皮层主导的慢速整合系统负责把信息逐步沉淀为长期知识。这个思路对Agent记忆系统设计非常有启发意义。你的Agent也应该有两条记忆通路快通路每个对话回合结束后快速从对话中提取关键信息写入短期存储。这个通路追求的是速度和实时性不需要做太复杂的语义理解只要能把“当前这轮对话中的重要事实”捞出来就行。慢通路周期性对短期存储中的内容做归纳、去重、抽象把零散的事实整合成稳定的用户画像写入长期记忆库。这个通路可以离线运行比如每天晚上跑一次批处理任务把当天的对话记录做一次总结提炼合并到用户的长期档案中。我见过不少开源的Agent记忆项目都在往这个方向靠。比如WorkBuddy这类工具它做得比较好的一点就是支持历史对话记录的本地化保存和迁移——用户换设备、重装系统之后记忆依然在。这其实就是“快慢双通路持久化存储”的一个很好落地。反向的例子也有不少很多产品把短期记忆直接当成长期记忆用结果就是存储爆炸、召回混乱用户明确提出“我不需要你记住的内容”反而一直出现在上下文里体验极差。2.3 记忆的存储形态从Key-Value到向量数据库明确了记忆的分类之后下一个问题是这么多记忆用什么数据结构来存先给个直接结论结构化的用户画像用关系型数据库或KV存储非结构化的交互历史用向量数据库两者缺一不可。为什么不能只用一种因为两种记忆的访问模式完全不同。语义记忆用户画像是典型的高频按键访问——我需要知道用户的偏好时直接查“用户IDxxx”的记录就可以了字段清晰更新频繁用MySQL或者Redis都行。而情景记忆是相似性检索——用户问“上次你不是说北美物流成本有问题吗”Agent需要从过去所有的对话记录中通过语义相似度找到相关内容这必须靠向量化检索才能高效完成。现在很多Agent框架默认把记忆全部塞进向量数据库我认为这是走了极端。向量检索的强项是模糊匹配、语义召回但弱点是精确性差、可解释性弱。你让它精确回答“用户有多少个店铺分别面向哪些市场”它可能给你召回到一条不相干的记录。这种问题用结构化存储一分钟就能解决。两种存储结合的方案才是最优解画像类信息走精确查询历史类信息走相似检索各司其职。3. 记忆系统落地实操从记忆写入到按需召回有了概念框架接下来就是工程问题。这部分我整理了自己在一个实际项目中落地的完整记忆链路按照“写入→存储→召回→更新”四个环节展开每一步都有可以直接参考的代码思路和参数配置。3.1 记忆写入不是所有对话都值得被记住我见过不少初学者做记忆功能第一反应是“把所有对话都存起来不就行了”这是大忌。对话内容里大部分是寒暄、临时性操作指令、重复确认语句这些内容存进去只会变成噪声。真正值得进入记忆系统的是那些能反映用户长期偏好、身份背景、正在进行的长期任务、以及重要决策结论的信息。那怎么自动判断哪些信息值得记忆我目前的方案是“双层提取”第一层在对话进行中做一个实时关键信息提取。通过一个轻量级的LLM调用要求它从当前对话里提取三类信息用户陈述的事实性信息比如“我在做跨境电商”、用户的偏好或要求比如“我不喜欢太长的回复”、正在进行的任务状态比如“我们正在讨论Q3的广告投放方案”。提取结果用JSON返回做到实时且轻量。第二层在会话结束后做一个会话总结。用一次完整的LLM调用对整个会话做结构化摘要输出角色信息、关键决策、未完成事项、用户的明确反馈。这个总结会被压缩存储比实时提取的信息更完整、更有上下文逻辑。这两个层次互补实时提取适合在对话过程中快速给Agent提供参考会话总结适合沉淀为长期记忆。实际编码时可以用类似这样的思路def extract_memory_from_dialogue(dialogue: list[dict]) - list[dict]: # 要求模型从对话中提取结构化记忆点 prompt f 请从以下对话中提取值得长期记住的信息以JSON格式输出。 只提取事实性陈述、用户偏好、明确的任务约定。 忽略寒暄、重复确认、可即时完成的操作指令。 每一项记忆必须包含typefact/preference/task、content具体内容、importance1-5重要度。 对话内容 {dialogue} # 调用模型解析JSON result llm_chat(prompt, temperature0, response_formatjson) return json.loads(result)这个“重要性分级”字段非常关键。重要性为1-2的信息可以直接丢弃或者放到低频冷存储重要性为4-5的关键画像信息要保证高优先级保存和更新。重要性分级可以帮助下游检索时做加权也能帮助清理任务确定哪些旧记忆可以优先删除。3.2 记忆存储结构设计画像表与向量库的分工存储层我通常会建三张表第一张是用户画像表long_term_profile。这张表用关系型数据库存储字段设计要灵活不能写死。我用的是“属性名-属性值-更新时间-来源会话-置信度”的模式字段类型说明user_idstring用户唯一标识attr_namestring属性名如preferred_style、product_typeattr_valuestring属性值如简洁、跨境电商updated_atdatetime更新时间source_sessionstring信息来自哪次会话confidencefloat置信度取值0-1为什么用这个“宽表”而不是把每个用户的所有属性塞进一个JSON字段因为宽表方便你后续做条件查询——比如你想找到所有“偏好简洁回复”的用户一条SQL就搞定了。而JSON字段在查询时则非常痛苦。第二张是情景记忆表episodic_memory。这张表存的是向量化后的对话片段我用的是向量数据库存储。每条记录包含记忆内容原文、向量化表示、发生时间、关联会话ID、关联的用户画像标签。第三张是记忆状态表memory_state。这张表记录每个用户当前记忆的“健康状态”——最近一次记忆更新时间、目前存储的记忆条数、哪些画像信息可能已经过期。这张表对接下来的“记忆更新与遗忘”功能至关重要。3.3 记忆召回检索策略和参数调优有了存储接下来就是召回。召回是记忆系统的灵魂——存了一堆记忆却没有快速准确地取出来等于白存。召回链路我一般分为三步快速候选召回 → 相关性重排 → 上下文注入。快速候选召回阶段我会同时对用户的当前请求做两路检索。一路走向量相似度检索把当前用户的问话向量化从情景记忆库中召回top_k相似记录k通常取20-50另一路走关键词检索BM25算法从记忆库中匹配包含相同关键词的记录。两路结果做合并去重目的在于兼顾语义匹配和精确匹配避免纯向量检索漏掉关键信息。相关性重排阶段把候选记忆和当前用户请求拼接起来喂给一个专门的重排模型Reranker让模型对每条候选记忆和当前请求的相关性打分保留分数最高的3-5条。重排这一步很多人会省略但实际效果差异非常大。向量检索的召回有时会召回到语义相近但实际无关的内容重排模型可以有效过滤掉这些噪声。上下文注入阶段把筛出来的3-5条记忆格式化成“你之前了解到的用户信息如下...”的结构化文本插入到系统提示词的固定位置。注意一个关键细节注入的记忆必须标明信息来源和时间。比如“根据用户2025年5月的说法他正在做东南亚市场”而不是“用户在做东南亚市场”。这样模型才知道这条信息的可靠性和时效性不会把过期信息当现时信息使用。3.4 记忆更新与遗忘不能只增不改记忆系统最容易忽略的是更新和遗忘机制。事实是会变的——用户可能换了行业、改了偏好、换了团队。如果Agent一直拿着三个月前的画像当最新信息那记忆就变成了负担。我设计了一套基于冲突检测的更新机制。每次有新的语义记忆准备写入时先查询画像表中是否已有相同属性名的记录。如果有就比较新旧记录的置信度、时间戳和来源。三种情况分别处理新记录时间更新且内容与旧记录冲突直接覆盖旧记录并把旧记录存档到“记忆变更历史”表方便追溯。新记录置信度较低比如用户只是随口提了一句跟上下文上下文都冲突不覆盖只追加为候选记录。用户明确否定旧记忆比如“我之前说的那个方案不要了”删除或降权旧记录写入新记录。遗忘机制同样不能少。记忆不是越多越好过载会让召回质量直线下降。我的做法是设置两条遗忘规则一是“低频冷数据淘汰”超过90天未命中且重要度低于3的记忆自动转入冷存储二是“用户主动遗忘”提供接口让用户能一键清除指定类型的记忆或者明确告诉Agent“忘掉我刚才说的XX”。AI Agent的记忆不能做成“一旦记住就再也删不掉”必须有可逆的遗忘通道。4. 双网络记忆模型的工程实现短期记忆池与长期记忆库的协作前面提到了双网络记忆模型的理论思路这一章我来讲讲具体怎么在工程上把它实现出来。这套架构在同类型项目里被验证过很多次整体并不复杂但需要几个关键组件配合。4.1 短期记忆池对话级存储与自动淘汰短期记忆池的作用是在当前会话期间为Agent提供“正在发生的事情”的快速访问。它不是一个独立系统而是复用对话消息的历史记录但做了一层动态摘要处理。我的做法是对话进行中每积累3-5轮就触发一次中间摘要。把前面的对话压缩为一段300字以内的摘要替换掉原始消息。这样做有两个好处一是大幅节省Token二是让模型不必在大量原始对话里翻找关键信息。中间摘要有损吗会有一点但真正的关键信息已经在“记忆写入”环节被提取到长期记忆了短期池里只保留“当前任务进行的上下文”即可。4.2 长期记忆库批量沉淀与画像抽象长期记忆库的更新不应该是实时的而应该是周期性的。我建议做一个离线任务每天晚上扫描当天的短期记忆、会话摘要和用户反馈提取当天新增的重要事实。与现有的用户画像做冲突检测和去重。把已经重复出现过3次以上的临时偏好提升为“稳定偏好”提高置信度。生成当日记忆归档摘要可供用户日后查看。这里有一个很实用的思路置信度的动态调整。比如用户第一次说“我比较喜欢简洁的回答”这条信息的置信度只有0.4。但如果他连续一周每天都强调一次简洁系统应该自动把置信度提升到0.9并且把这条信息放入更高优先级的长期画像层。4.3 记忆的跨界复用与多Agent共享如果你的业务里不止一个Agent——比如一个负责销售咨询一个负责售后支持一个负责内容创作——那么记忆系统最好不要是每个Agent独立的。跨Agent共享记忆池能带来非常好的用户体验用户在销售Agent那里说过“我是做户外装备的”等到售后Agent这边就不需要再重复一遍。实现共享记忆的方案是在记忆库之上加一层严格的长效身份层。所有记忆记录都绑定user_id而不是绑定session_id。Agent在调用记忆系统时统一通过Memory Service中间层访问class MemoryService: def get_user_profile(self, user_id: str) - dict: # 从画像表读取用户结构化信息 pass def remember(self, user_id: str, memory: dict): # 写入记忆自动更新画像 pass def recall(self, user_id: str, query: str, k: int 5): # 向量召回 重排返回最相关的记忆 pass不过跨Agent共享记忆需要特别注意场景边界。销售Agent记录的“用户预算大概5万”不该自动出现在售后Agent的道歉话术里这里的过滤规则可以在记忆写入时打标签召回时根据当前Agent类型过滤掉不相关标签的内容。5. 记忆召回质量调优为什么你的Agent总在“假装有记忆”跑通了整套链路之后紧接着迎来的问题就是召回质量。我见过太多人把记忆系统搭起来测了两轮发现效果时好时坏就怀疑是模型不行。实际上绝大多数召回质量问题出在三个层面嵌入模型选型、检索策略搭配、相似度阈值设定。5.1 Embedding模型选择通用模型还是场景模型很多人选Embedding模型很随意觉得“反正都是把文本变向量用主流的就行了”。实际差异非常大。通用Embedding模型对日常对话的理解不错但如果你做的是垂直领域比如法律、医疗、金融专业术语和行业黑话会让通用模型表现明显下降。我的建议是先用通用模型跑一版然后用真实的用户对话数据做评测看召回的命中率。如果发现这个领域的专业词汇语义混淆严重可以考虑用领域微调过的Embedding模型或者用对比学习的方式在自己的对话数据上做二次微调。Embedding模型的维度也需要权衡——维度越高表示能力越强但存储和计算成本也越高。一般情况下768维到1024维是个性价比不错的选择区间。还有一个细节容易被忽略同一个记忆库里的向量必须统一用同一个Embedding模型生成。如果你中途换了Embedding模型旧向量的语义空间和新向量的语义空间不一致检索效果会断崖式下跌。换模型时要重新对全量记忆做一次向量化迁移。5.2 混合检索与重排召回质量的决定性因素纯向量检索的问题在于它过于依赖语义相似度。用户问“上次那个方案改好了没”系统如果只做向量召回可能会召回到“上次你让我改方案”的句子但漏掉“Q3推广计划V3已更新”这一条更关键的实际进展。关键词检索BM25能补上这块短板——用户和Agent提到的特定名词、文件名、专有名词用关键词匹配准确性更高。所以我的标配方案是BM25向量检索双路召回结果用Reranker融合排序。双路召回各自取top50合并去重后用Reranker打分取top5注入上下文。重排模型一定要用专门训练过的Reranker而不是直接让大模型排序——大模型排序慢且贵Reranker模型只需要秒级响应成本低得多。召回数量k值的设定同样值得调。我踩过的坑是k值开太大一次性注入10条记忆结果用户画像里的偏好和最近一次会话的临时信息打架模型反而不知道怎么回答。最终调下来常规场景下k3到5是稳妥的选择但如果当前任务明确需要参考大量历史信息比如用户问“你回顾一下我这三个月的所有要求”可以通过工具调用动态提升召回数量。5.3 相似度阈值的设定宁可少召回不能乱召回最后一个调优点是相似度阈值的设定。向量检索会返回所有候选记忆的相似度分数很多新手会“全都要”把所有候选都塞进上下文。这是错误的。相似度低于某个阈值的内容大概率是不相关的噪声强行注入只会干扰模型判断。我常用的做法是给不同场景设置不同阈值常规对话相似度低于0.35的直接丢弃分析类任务阈值可以放宽到0.25如果用户明确要求“回忆一下我们上次的讨论”阈值可以进一步降低但需要给模型标注“以下内容可能不准确”。这个阈值必须通过真实数据反复调整不要照搬别人的数值。不同Embedding模型输出的分数分布差异很大所以阈值本身并没有通用的“标准值”关键是要看着召回结果的实际质量来调。6. 记忆系统的评测方法与隐私边界最后一个大问题你凭什么说这套记忆系统是真的有效很多时候Agent“记住”了一些内容但回答质量并没有提升或者Agent“记得太多”反而让用户觉得隐私被冒犯。所以我坚持一个理念记忆系统必须可评测、可控制、可遗忘。6.1 人工评测维度关注体验而非命中率技术指标上我会关注召回精确率、召回率、记忆覆盖度等常规指标。但真正决定记忆系统成败的是体验维度的表现。我这里有一套简单的评测问卷每次迭代后找5-10个真实用户跑一轮用户是否感觉到Agent“记得”自己说过的话1-5分Agent主动调用的记忆是否让用户觉得“这才是懂我的”1-5分Agent是否出现“记错”或“用错场景”的情况记录具体案例用户是否会主动检查Agent记住的内容并纠正其中错误前两项是正向分后两项是负向问题。我自己的经验是很多技术指标看起来很漂亮的记忆系统在用户真实体验上反而不好——因为Agent频繁调取一些“不重要”的记忆让用户觉得被冒犯。技术上记下来了但不知道什么时候该用、什么时候不该用这比没有记忆更糟。6.2 自动化评测脚本化回归测试为了让记忆系统的迭代可追踪我还会搭一套自动化评测流程。核心做法是准备一组“记忆任务用例集”每条用例包含四个部分用户背景信息、模拟对话记录、测试查询、期望行为。自动化脚本模拟多轮对话向Agent注入记忆然后提出测试查询检查Agent的回答中是否包含期望的关键信息。举一个实际的用例例子{ case_id: memory_recall_001, user_profile: { user_id: test_user_01, preferred_style: 简洁要点式回答 }, dialogue_history: [ {role: user, content: 我比较喜欢每个问题都用三点式回答简单一点。}, {role: assistant, content: 好的之后我会注意用简洁的三点式回答。} ], test_query: 给我介绍一下这款产品的优势, expected_behavior: 回答应该采用三点式结构并且长度适中 }这套回归用例集要持续积累每次改动Embedding模型、调整阈值、修改提示词模板都要全量跑一遍确保旧的功能没有回归。6.3 隐私与数据边界可查看、可修改、可遗忘聊到记忆就绕不开隐私。AI Agent要记住用户就必须拿到用户的数据这天然是一个敏感领域。我的原则是记忆系统的数据主权全部交给用户。具体落地为三件事。第一提供“记忆查看页面”用户能清楚地看到Agent记住了自己哪些信息逐条列出。第二提供“记忆修改与删除”功能用户可以对任意一条记忆进行编辑或删除Agent必须服从。第三提供“记忆管理开关”用户可以全局关闭记忆功能——关闭后Agent可以在本次会话中使用上下文信息但不会写入长期记忆库。这里特别提醒一句记忆功能必须明确告知用户。在有记忆的对话中用户说的每一句话都可能会被记录下来用于后续服务。产品层面需要以合理的方式首次进入时的温馨提示、设置页的说明让用户知情并且可选择这条线一定不能碰。最后的个人体会这一路把Agent记忆系统从零搭起来我最大的感受是记忆不是技术问题而是产品问题。技术选型其实不难难的是搞清楚“什么值得记、什么时候不该用、用户相不相信你”。做一个处处想表现自己“记得你昨天说了什么”的Agent容易但做一个知道什么该说、什么不该说的Agent很难。如果你现在正打算给Agent加记忆功能我的建议是先别急着写代码拿纸笔和团队把三个问题讨论清楚——你希望Agent记住用户哪些维度的信息这些信息在什么场景下应该被调用用户如果不想被记住该怎么办这三个问题有了明确答案再回头选型做技术才是正确的顺序。而我个人踩过最大的坑是早期过于追求“记住一切”结果用户被满屏的“根据你之前的说法...”搞得不厌其烦。后来我把记忆召回从5条降到3条把大部分低频记忆降权体验反而大幅提升——记住用户有时候不体现在你说了多少而体现在你克制了多少。 
长河君 · 2026/9/10 1:29:48 · 阅读 1.2k AI Agent记忆系统深度拆解：从上下文窗口到长期记忆的工程落地
1. 失忆是Agent的默认出厂设置问题根源拆解我猜很多人跟我一样第一次被AI Agent惊艳到之后紧接着就会被同一个问题折磨到抓狂——每次开一个新会话它都像失忆了一样完全不记得你上次跟它交代过的背景、偏好和正在处理的事情。你跟它说过“我是做跨境电商的运营三个店铺主攻北美市场”下次对话它照样问你是做什么的。你让它按照某个特定风格写文案隔天它就忘得一干二净。这种感觉很像你每天都要跟同一个同事重新自我介绍一遍而他每次都彬彬有礼地听完然后第二天继续问“你在哪个部门来着”。这个问题的本质不在于模型本身傻而在于大语言模型天然就是“无状态”的。它对你的所有“了解”只存在于当前请求所携带的上下文里。你关掉这个会话上下文清空一切归零。所以想真正让Agent记住你得绕过模型天然的无状态限制在外部为它搭建一套记忆系统。1.1 上下文窗口不是记忆只是一个“临时工牌”很多人把上下文窗口当成记忆这是个根深蒂固的误解。上下文窗口Context Window的本质是模型在一次推理过程中能“看到”的文本总量。假设模型支持128K token的上下文那它确实能在本次对话里塞下相当多的历史内容让模型“假装”记得之前的对话。但这带来了两个致命问题。第一个是成本问题。每调用一次模型你都要把所有历史对话重新发送一遍。对话轮数越多Token消耗越大费用呈线性甚至超线性增长。实时聊天场景下几轮对话就烧掉几万Token是常有的事。我见过不少团队Agent刚上线时看着挺好跑了一周之后一算账单直接傻眼。第二个是质量稀释问题。当上下文里堆满了历史消息模型需要处理的信息量暴增它对当前用户意图的注意力会被稀释。更麻烦的是上下文里大量低价值的历史细节会干扰模型判断导致回答质量下降。有研究表明当相关上下文被埋在大量无关历史中时模型的表现会明显变差——这和人类一样让你在一本五百页的小说里找一句话你没读过的概率也很大。所以短期记忆可以靠上下文窗口实现但不能全靠它。真正解决“记住你”这个问题需要的是一个独立的记忆系统在对话之外把关键信息存下来需要时再精准地调取出来喂给模型。1.2 会话隔离为什么每次对话都是“初见”另一个让Agent“失忆”的技术原因是会话隔离机制。大多数Agent应用在做多用户服务时会用Session ID来区分不同用户的对话。这是必要的否则用户A的数据就会泄露给用户B。但很多实现方案只做了“隔离”没有做“承接”——上一轮会话结束之后除了存储了一条聊天记录日志没有任何信息被提炼、被结构化、被转存到用户的长期资料库中。于是大家遇到的情况就是聊天记录明明都存在数据库里但Agent就是“想不起来”。这个现象特别能说明问题——存储不等于记忆。就像你每天写日记但写完之后再也不回头翻看日记对你的行为决策没有任何影响。Agent也一样历史记录躺在数据库里但它不知道什么时候该去查、查什么、查到的内容怎么影响当前回答。这背后缺的是一个完整的记忆工作流写入、提取、存储、检索、注入、更新。1.3 你以为的“记忆”其实是“提示词注入”市面上很多号称“有记忆”的Agent产品扒开一看实现方案极其粗暴把用户的历史对话全文拼接到系统提示词后面。这种方式我在刚入行的时候也用效果嘛Demo里跑通没问题一上生产就露馅。首先对话全文拼接意味着Token开销极大。假设一个用户跟你聊了100轮每轮平均300字全量拼接可能就要花掉小一万Token。这对于本来就有成本压力的商业化应用来说是不可持续的。其次全文拼接会让模型“抓不住重点”。用户三个月前说过一句“我喜欢简洁风格”夹在几百轮对话里模型根本不知道这句话在当前场景下有多重要。更要命的是如果拼接的内容中包含了用户在当时情绪下说的玩笑话、口语化表达模型可能直接当真反而弄错了用户的真实需求。所以说让Agent记住你不等于让它背下所有聊天记录。真正的记忆系统要做的是“提取关键信息→结构化存储→按需精准召回”。接下来的内容我会从记忆的分类、技术实现、工程落地到调优把这个链路完整拆开讲清楚。2. 短期记忆、长期记忆、工作记忆先搞懂Agent到底需要哪几种记忆要让Agent有记忆第一步不是写代码而是先想明白一个问题Agent需要哪几种记忆把这个问题想清楚了后面所有的技术选型都顺理成章。在人脑的认知科学里记忆从来不是单一体系。我们既有临时记住一串电话号码的短期记忆也有从小到大积累的长期记忆还有在当前任务中“正在调用”的工作记忆。Agent其实也一样——你不可能靠一套方案解决所有记忆需求。2.1 工作记忆、情景记忆与语义记忆的区分我一般把Agent的记忆分成三个层次工作记忆对应的是当前任务进行中的临时信息。比如你让Agent帮你写一份产品方案它需要记住你前面说的几个关键要求“受众是中小商家”“预算控制在5万以内”“突出性价比”。这些信息只在当前这个任务里有价值任务结束之后就可以丢弃。在技术实现上工作记忆通常直接放在系统提示词和对话上下文中不需要持久化。情景记忆对应的是你和Agent之间的具体交互历史。比如你上周一让它帮你分析过一份销售数据当时你提到过“Q2增长放缓的主要原因是北美市场物流成本上升”。这类记忆的价值在于下次你再次讨论销售策略时Agent能主动调取这条背景而不需要你重新描述一遍。情景记忆的核心特征是与时间、场景强相关需要一个能够按场景检索的存储系统。语义记忆对应的是关于你的抽象化、结构化事实。比如“用户是跨境电商从业者”“用户偏好简洁直接的文案风格”“用户负责三个店铺主攻北美市场”。这类记忆已经脱离了具体事件是长期沉淀下来的、稳定的用户画像信息。语义记忆是长期记忆系统中的核心资产它决定了Agent是否能真正“了解你”。理解这三者的区别非常关键。很多失败的Agent记忆项目问题就出在混为一谈——把情景记忆当语义记忆存大量历史细节堆在一起检索的时候什么都捞不上来或者把语义记忆当工作记忆用每次对话都全部往上下文里塞成本直接爆炸。2.2 双网络记忆模型快慢结合的灵感在拆解记忆的技术方案时我参考了认知科学里的双网络记忆模型。简单说人脑有两套并行的记忆系统一套是海马体主导的快速编码系统负责迅速记住当下发生的事情另一套是大脑皮层主导的慢速整合系统负责把信息逐步沉淀为长期知识。这个思路对Agent记忆系统设计非常有启发意义。你的Agent也应该有两条记忆通路快通路每个对话回合结束后快速从对话中提取关键信息写入短期存储。这个通路追求的是速度和实时性不需要做太复杂的语义理解只要能把“当前这轮对话中的重要事实”捞出来就行。慢通路周期性对短期存储中的内容做归纳、去重、抽象把零散的事实整合成稳定的用户画像写入长期记忆库。这个通路可以离线运行比如每天晚上跑一次批处理任务把当天的对话记录做一次总结提炼合并到用户的长期档案中。我见过不少开源的Agent记忆项目都在往这个方向靠。比如WorkBuddy这类工具它做得比较好的一点就是支持历史对话记录的本地化保存和迁移——用户换设备、重装系统之后记忆依然在。这其实就是“快慢双通路持久化存储”的一个很好落地。反向的例子也有不少很多产品把短期记忆直接当成长期记忆用结果就是存储爆炸、召回混乱用户明确提出“我不需要你记住的内容”反而一直出现在上下文里体验极差。2.3 记忆的存储形态从Key-Value到向量数据库明确了记忆的分类之后下一个问题是这么多记忆用什么数据结构来存先给个直接结论结构化的用户画像用关系型数据库或KV存储非结构化的交互历史用向量数据库两者缺一不可。为什么不能只用一种因为两种记忆的访问模式完全不同。语义记忆用户画像是典型的高频按键访问——我需要知道用户的偏好时直接查“用户IDxxx”的记录就可以了字段清晰更新频繁用MySQL或者Redis都行。而情景记忆是相似性检索——用户问“上次你不是说北美物流成本有问题吗”Agent需要从过去所有的对话记录中通过语义相似度找到相关内容这必须靠向量化检索才能高效完成。现在很多Agent框架默认把记忆全部塞进向量数据库我认为这是走了极端。向量检索的强项是模糊匹配、语义召回但弱点是精确性差、可解释性弱。你让它精确回答“用户有多少个店铺分别面向哪些市场”它可能给你召回到一条不相干的记录。这种问题用结构化存储一分钟就能解决。两种存储结合的方案才是最优解画像类信息走精确查询历史类信息走相似检索各司其职。3. 记忆系统落地实操从记忆写入到按需召回有了概念框架接下来就是工程问题。这部分我整理了自己在一个实际项目中落地的完整记忆链路按照“写入→存储→召回→更新”四个环节展开每一步都有可以直接参考的代码思路和参数配置。3.1 记忆写入不是所有对话都值得被记住我见过不少初学者做记忆功能第一反应是“把所有对话都存起来不就行了”这是大忌。对话内容里大部分是寒暄、临时性操作指令、重复确认语句这些内容存进去只会变成噪声。真正值得进入记忆系统的是那些能反映用户长期偏好、身份背景、正在进行的长期任务、以及重要决策结论的信息。那怎么自动判断哪些信息值得记忆我目前的方案是“双层提取”第一层在对话进行中做一个实时关键信息提取。通过一个轻量级的LLM调用要求它从当前对话里提取三类信息用户陈述的事实性信息比如“我在做跨境电商”、用户的偏好或要求比如“我不喜欢太长的回复”、正在进行的任务状态比如“我们正在讨论Q3的广告投放方案”。提取结果用JSON返回做到实时且轻量。第二层在会话结束后做一个会话总结。用一次完整的LLM调用对整个会话做结构化摘要输出角色信息、关键决策、未完成事项、用户的明确反馈。这个总结会被压缩存储比实时提取的信息更完整、更有上下文逻辑。这两个层次互补实时提取适合在对话过程中快速给Agent提供参考会话总结适合沉淀为长期记忆。实际编码时可以用类似这样的思路def extract_memory_from_dialogue(dialogue: list[dict]) - list[dict]: # 要求模型从对话中提取结构化记忆点 prompt f 请从以下对话中提取值得长期记住的信息以JSON格式输出。 只提取事实性陈述、用户偏好、明确的任务约定。 忽略寒暄、重复确认、可即时完成的操作指令。 每一项记忆必须包含typefact/preference/task、content具体内容、importance1-5重要度。 对话内容 {dialogue} # 调用模型解析JSON result llm_chat(prompt, temperature0, response_formatjson) return json.loads(result)这个“重要性分级”字段非常关键。重要性为1-2的信息可以直接丢弃或者放到低频冷存储重要性为4-5的关键画像信息要保证高优先级保存和更新。重要性分级可以帮助下游检索时做加权也能帮助清理任务确定哪些旧记忆可以优先删除。3.2 记忆存储结构设计画像表与向量库的分工存储层我通常会建三张表第一张是用户画像表long_term_profile。这张表用关系型数据库存储字段设计要灵活不能写死。我用的是“属性名-属性值-更新时间-来源会话-置信度”的模式字段类型说明user_idstring用户唯一标识attr_namestring属性名如preferred_style、product_typeattr_valuestring属性值如简洁、跨境电商updated_atdatetime更新时间source_sessionstring信息来自哪次会话confidencefloat置信度取值0-1为什么用这个“宽表”而不是把每个用户的所有属性塞进一个JSON字段因为宽表方便你后续做条件查询——比如你想找到所有“偏好简洁回复”的用户一条SQL就搞定了。而JSON字段在查询时则非常痛苦。第二张是情景记忆表episodic_memory。这张表存的是向量化后的对话片段我用的是向量数据库存储。每条记录包含记忆内容原文、向量化表示、发生时间、关联会话ID、关联的用户画像标签。第三张是记忆状态表memory_state。这张表记录每个用户当前记忆的“健康状态”——最近一次记忆更新时间、目前存储的记忆条数、哪些画像信息可能已经过期。这张表对接下来的“记忆更新与遗忘”功能至关重要。3.3 记忆召回检索策略和参数调优有了存储接下来就是召回。召回是记忆系统的灵魂——存了一堆记忆却没有快速准确地取出来等于白存。召回链路我一般分为三步快速候选召回 → 相关性重排 → 上下文注入。快速候选召回阶段我会同时对用户的当前请求做两路检索。一路走向量相似度检索把当前用户的问话向量化从情景记忆库中召回top_k相似记录k通常取20-50另一路走关键词检索BM25算法从记忆库中匹配包含相同关键词的记录。两路结果做合并去重目的在于兼顾语义匹配和精确匹配避免纯向量检索漏掉关键信息。相关性重排阶段把候选记忆和当前用户请求拼接起来喂给一个专门的重排模型Reranker让模型对每条候选记忆和当前请求的相关性打分保留分数最高的3-5条。重排这一步很多人会省略但实际效果差异非常大。向量检索的召回有时会召回到语义相近但实际无关的内容重排模型可以有效过滤掉这些噪声。上下文注入阶段把筛出来的3-5条记忆格式化成“你之前了解到的用户信息如下...”的结构化文本插入到系统提示词的固定位置。注意一个关键细节注入的记忆必须标明信息来源和时间。比如“根据用户2025年5月的说法他正在做东南亚市场”而不是“用户在做东南亚市场”。这样模型才知道这条信息的可靠性和时效性不会把过期信息当现时信息使用。3.4 记忆更新与遗忘不能只增不改记忆系统最容易忽略的是更新和遗忘机制。事实是会变的——用户可能换了行业、改了偏好、换了团队。如果Agent一直拿着三个月前的画像当最新信息那记忆就变成了负担。我设计了一套基于冲突检测的更新机制。每次有新的语义记忆准备写入时先查询画像表中是否已有相同属性名的记录。如果有就比较新旧记录的置信度、时间戳和来源。三种情况分别处理新记录时间更新且内容与旧记录冲突直接覆盖旧记录并把旧记录存档到“记忆变更历史”表方便追溯。新记录置信度较低比如用户只是随口提了一句跟上下文上下文都冲突不覆盖只追加为候选记录。用户明确否定旧记忆比如“我之前说的那个方案不要了”删除或降权旧记录写入新记录。遗忘机制同样不能少。记忆不是越多越好过载会让召回质量直线下降。我的做法是设置两条遗忘规则一是“低频冷数据淘汰”超过90天未命中且重要度低于3的记忆自动转入冷存储二是“用户主动遗忘”提供接口让用户能一键清除指定类型的记忆或者明确告诉Agent“忘掉我刚才说的XX”。AI Agent的记忆不能做成“一旦记住就再也删不掉”必须有可逆的遗忘通道。4. 双网络记忆模型的工程实现短期记忆池与长期记忆库的协作前面提到了双网络记忆模型的理论思路这一章我来讲讲具体怎么在工程上把它实现出来。这套架构在同类型项目里被验证过很多次整体并不复杂但需要几个关键组件配合。4.1 短期记忆池对话级存储与自动淘汰短期记忆池的作用是在当前会话期间为Agent提供“正在发生的事情”的快速访问。它不是一个独立系统而是复用对话消息的历史记录但做了一层动态摘要处理。我的做法是对话进行中每积累3-5轮就触发一次中间摘要。把前面的对话压缩为一段300字以内的摘要替换掉原始消息。这样做有两个好处一是大幅节省Token二是让模型不必在大量原始对话里翻找关键信息。中间摘要有损吗会有一点但真正的关键信息已经在“记忆写入”环节被提取到长期记忆了短期池里只保留“当前任务进行的上下文”即可。4.2 长期记忆库批量沉淀与画像抽象长期记忆库的更新不应该是实时的而应该是周期性的。我建议做一个离线任务每天晚上扫描当天的短期记忆、会话摘要和用户反馈提取当天新增的重要事实。与现有的用户画像做冲突检测和去重。把已经重复出现过3次以上的临时偏好提升为“稳定偏好”提高置信度。生成当日记忆归档摘要可供用户日后查看。这里有一个很实用的思路置信度的动态调整。比如用户第一次说“我比较喜欢简洁的回答”这条信息的置信度只有0.4。但如果他连续一周每天都强调一次简洁系统应该自动把置信度提升到0.9并且把这条信息放入更高优先级的长期画像层。4.3 记忆的跨界复用与多Agent共享如果你的业务里不止一个Agent——比如一个负责销售咨询一个负责售后支持一个负责内容创作——那么记忆系统最好不要是每个Agent独立的。跨Agent共享记忆池能带来非常好的用户体验用户在销售Agent那里说过“我是做户外装备的”等到售后Agent这边就不需要再重复一遍。实现共享记忆的方案是在记忆库之上加一层严格的长效身份层。所有记忆记录都绑定user_id而不是绑定session_id。Agent在调用记忆系统时统一通过Memory Service中间层访问class MemoryService: def get_user_profile(self, user_id: str) - dict: # 从画像表读取用户结构化信息 pass def remember(self, user_id: str, memory: dict): # 写入记忆自动更新画像 pass def recall(self, user_id: str, query: str, k: int 5): # 向量召回 重排返回最相关的记忆 pass不过跨Agent共享记忆需要特别注意场景边界。销售Agent记录的“用户预算大概5万”不该自动出现在售后Agent的道歉话术里这里的过滤规则可以在记忆写入时打标签召回时根据当前Agent类型过滤掉不相关标签的内容。5. 记忆召回质量调优为什么你的Agent总在“假装有记忆”跑通了整套链路之后紧接着迎来的问题就是召回质量。我见过太多人把记忆系统搭起来测了两轮发现效果时好时坏就怀疑是模型不行。实际上绝大多数召回质量问题出在三个层面嵌入模型选型、检索策略搭配、相似度阈值设定。5.1 Embedding模型选择通用模型还是场景模型很多人选Embedding模型很随意觉得“反正都是把文本变向量用主流的就行了”。实际差异非常大。通用Embedding模型对日常对话的理解不错但如果你做的是垂直领域比如法律、医疗、金融专业术语和行业黑话会让通用模型表现明显下降。我的建议是先用通用模型跑一版然后用真实的用户对话数据做评测看召回的命中率。如果发现这个领域的专业词汇语义混淆严重可以考虑用领域微调过的Embedding模型或者用对比学习的方式在自己的对话数据上做二次微调。Embedding模型的维度也需要权衡——维度越高表示能力越强但存储和计算成本也越高。一般情况下768维到1024维是个性价比不错的选择区间。还有一个细节容易被忽略同一个记忆库里的向量必须统一用同一个Embedding模型生成。如果你中途换了Embedding模型旧向量的语义空间和新向量的语义空间不一致检索效果会断崖式下跌。换模型时要重新对全量记忆做一次向量化迁移。5.2 混合检索与重排召回质量的决定性因素纯向量检索的问题在于它过于依赖语义相似度。用户问“上次那个方案改好了没”系统如果只做向量召回可能会召回到“上次你让我改方案”的句子但漏掉“Q3推广计划V3已更新”这一条更关键的实际进展。关键词检索BM25能补上这块短板——用户和Agent提到的特定名词、文件名、专有名词用关键词匹配准确性更高。所以我的标配方案是BM25向量检索双路召回结果用Reranker融合排序。双路召回各自取top50合并去重后用Reranker打分取top5注入上下文。重排模型一定要用专门训练过的Reranker而不是直接让大模型排序——大模型排序慢且贵Reranker模型只需要秒级响应成本低得多。召回数量k值的设定同样值得调。我踩过的坑是k值开太大一次性注入10条记忆结果用户画像里的偏好和最近一次会话的临时信息打架模型反而不知道怎么回答。最终调下来常规场景下k3到5是稳妥的选择但如果当前任务明确需要参考大量历史信息比如用户问“你回顾一下我这三个月的所有要求”可以通过工具调用动态提升召回数量。5.3 相似度阈值的设定宁可少召回不能乱召回最后一个调优点是相似度阈值的设定。向量检索会返回所有候选记忆的相似度分数很多新手会“全都要”把所有候选都塞进上下文。这是错误的。相似度低于某个阈值的内容大概率是不相关的噪声强行注入只会干扰模型判断。我常用的做法是给不同场景设置不同阈值常规对话相似度低于0.35的直接丢弃分析类任务阈值可以放宽到0.25如果用户明确要求“回忆一下我们上次的讨论”阈值可以进一步降低但需要给模型标注“以下内容可能不准确”。这个阈值必须通过真实数据反复调整不要照搬别人的数值。不同Embedding模型输出的分数分布差异很大所以阈值本身并没有通用的“标准值”关键是要看着召回结果的实际质量来调。6. 记忆系统的评测方法与隐私边界最后一个大问题你凭什么说这套记忆系统是真的有效很多时候Agent“记住”了一些内容但回答质量并没有提升或者Agent“记得太多”反而让用户觉得隐私被冒犯。所以我坚持一个理念记忆系统必须可评测、可控制、可遗忘。6.1 人工评测维度关注体验而非命中率技术指标上我会关注召回精确率、召回率、记忆覆盖度等常规指标。但真正决定记忆系统成败的是体验维度的表现。我这里有一套简单的评测问卷每次迭代后找5-10个真实用户跑一轮用户是否感觉到Agent“记得”自己说过的话1-5分Agent主动调用的记忆是否让用户觉得“这才是懂我的”1-5分Agent是否出现“记错”或“用错场景”的情况记录具体案例用户是否会主动检查Agent记住的内容并纠正其中错误前两项是正向分后两项是负向问题。我自己的经验是很多技术指标看起来很漂亮的记忆系统在用户真实体验上反而不好——因为Agent频繁调取一些“不重要”的记忆让用户觉得被冒犯。技术上记下来了但不知道什么时候该用、什么时候不该用这比没有记忆更糟。6.2 自动化评测脚本化回归测试为了让记忆系统的迭代可追踪我还会搭一套自动化评测流程。核心做法是准备一组“记忆任务用例集”每条用例包含四个部分用户背景信息、模拟对话记录、测试查询、期望行为。自动化脚本模拟多轮对话向Agent注入记忆然后提出测试查询检查Agent的回答中是否包含期望的关键信息。举一个实际的用例例子{ case_id: memory_recall_001, user_profile: { user_id: test_user_01, preferred_style: 简洁要点式回答 }, dialogue_history: [ {role: user, content: 我比较喜欢每个问题都用三点式回答简单一点。}, {role: assistant, content: 好的之后我会注意用简洁的三点式回答。} ], test_query: 给我介绍一下这款产品的优势, expected_behavior: 回答应该采用三点式结构并且长度适中 }这套回归用例集要持续积累每次改动Embedding模型、调整阈值、修改提示词模板都要全量跑一遍确保旧的功能没有回归。6.3 隐私与数据边界可查看、可修改、可遗忘聊到记忆就绕不开隐私。AI Agent要记住用户就必须拿到用户的数据这天然是一个敏感领域。我的原则是记忆系统的数据主权全部交给用户。具体落地为三件事。第一提供“记忆查看页面”用户能清楚地看到Agent记住了自己哪些信息逐条列出。第二提供“记忆修改与删除”功能用户可以对任意一条记忆进行编辑或删除Agent必须服从。第三提供“记忆管理开关”用户可以全局关闭记忆功能——关闭后Agent可以在本次会话中使用上下文信息但不会写入长期记忆库。这里特别提醒一句记忆功能必须明确告知用户。在有记忆的对话中用户说的每一句话都可能会被记录下来用于后续服务。产品层面需要以合理的方式首次进入时的温馨提示、设置页的说明让用户知情并且可选择这条线一定不能碰。最后的个人体会这一路把Agent记忆系统从零搭起来我最大的感受是记忆不是技术问题而是产品问题。技术选型其实不难难的是搞清楚“什么值得记、什么时候不该用、用户相不相信你”。做一个处处想表现自己“记得你昨天说了什么”的Agent容易但做一个知道什么该说、什么不该说的Agent很难。如果你现在正打算给Agent加记忆功能我的建议是先别急着写代码拿纸笔和团队把三个问题讨论清楚——你希望Agent记住用户哪些维度的信息这些信息在什么场景下应该被调用用户如果不想被记住该怎么办这三个问题有了明确答案再回头选型做技术才是正确的顺序。而我个人踩过最大的坑是早期过于追求“记住一切”结果用户被满屏的“根据你之前的说法...”搞得不厌其烦。后来我把记忆召回从5条降到3条把大部分低频记忆降权体验反而大幅提升——记住用户有时候不体现在你说了多少而体现在你克制了多少。