【NLP】POMDP 与马尔可夫基础

POMDP 与马尔可夫基础用于理解 Agent、world model、强化学习与部分可观测决策问题。一句话总览马尔可夫性完整当前状态已经包含预测未来所需的历史。 MDPAgent 能看见完整状态因此可依据当前状态选动作。 POMDPAgent 看不见完整状态只能用观察、动作和历史推断真实状态。1. 什么是马尔可夫性马尔可夫性最核心的说法是在知道当前完整状态的前提下未来不再依赖更早的历史。设StS_tSt​表示时刻ttt的状态马尔可夫性质写作P(St1∣St,St−1,…,S0)P(St1∣St) P(S_{t1}\mid S_t,S_{t-1},\ldots,S_0)P(S_{t1}\mid S_t)P(St1​∣St​,St−1​,…,S0​)P(St1​∣St​)它不是说历史不重要而是说有用历史已经被压缩进StS_tSt​。例子走格子当前位置第 5 格 动作向右走一步若规则固定下一位置只取决于当前位置和动作不取决于五分钟前从哪里走来。因为“当前位置”已概括了影响下一步的信息。2. 马尔可夫链、MDP 与 POMDP模型有状态有动作Agent 是否看见完整状态马尔可夫链是否不涉及决策 AgentMDP是是是POMDP是是否只看见部分观察2.1 马尔可夫链马尔可夫链描述系统自行演化今天的天气 → 明天的天气例如在一个简化模型中明天天气只依赖今天天气而不依赖更早天气。它有状态转移但没有主动选择动作的 Agent。2.2 MDP加入动作与奖励MDPMarkov Decision Process是在马尔可夫链上加入决策M(S,A,P,R,γ) \mathcal{M}(\mathcal{S},\mathcal{A},P,R,\gamma)M(S,A,P,R,γ)记号含义S\mathcal{S}S所有可能的世界状态A\mathcal{A}A所有可能的动作P(s′∣s,a)P(s\mid s,a)P(s′∣s,a)在状态sss执行动作aaa后到达s′ss′的概率R(s,a)R(s,a)R(s,a)该动作的奖励γ\gammaγ折扣因子衡量未来奖励的重要性MDP 的转移假设是P(St1∣St,At,历史)P(St1∣St,At)P(S_{t1}\mid S_t,A_t,\text{历史})P(S_{t1}\mid S_t,A_t)P(St1​∣St​,At​,历史)P(St1​∣St​,At​)直观上完整当前状态加当前动作就足以决定下一状态的分布。2.3 POMDPAgent 看不全世界POMDPPartially Observable Markov Decision Process比 MDP 多了观察P(S,A,P,R,O,Z,γ) \mathcal{P}(\mathcal{S},\mathcal{A},P,R,\mathcal{O},Z,\gamma)P(S,A,P,R,O,Z,γ)新增记号含义O\mathcal{O}O观察空间即 Agent 可能看到的信息Z(o∣s,a)Z(o\mid s,a)Z(o∣s,a)观察模型真实状态为sss、执行动作后Agent 看到ooo的概率这里要区分真实状态 st世界实际是什么样 观察 otAgent 当前能看见或读到什么真实环境仍可以满足马尔可夫性但 Agent 看不到完整sts_tst​因此只靠当前观察oto_tot​无法可靠预测未来。3. 状态设计决定“是否马尔可夫”马尔可夫性依赖状态是否包含关键变量。例如只写机器人在厨房抽屉关闭。对动作open drawer结果不确定情形 A抽屉中有钥匙 → 打开后看到钥匙。 情形 B钥匙已被拿走 → 打开后抽屉为空。原因是状态遗漏了“钥匙在哪里”。因此它不是充分状态。若扩充为机器人位置抽屉开闭状态钥匙位置门锁状态Agent 是否持钥匙。那么“完整状态 当前动作”就更接近足以预测未来问题重新近似满足马尔可夫性。状态信息足够完整 → 未来只依赖当前状态和动作 → 马尔可夫 状态遗漏关键变量 → 未来仍依赖遗漏的历史 → 对 Agent 而言不马尔可夫4. 一阶、二阶马尔可夫通常所说的马尔可夫是“一阶”未来只依赖当前状态。P(St1∣St,St−1,…)P(St1∣St) P(S_{t1}\mid S_t,S_{t-1},\ldots)P(S_{t1}\mid S_t)P(St1​∣St​,St−1​,…)P(St1​∣St​)二阶马尔可夫则要求当前和前一状态P(St1∣St,St−1,…)P(St1∣St,St−1) P(S_{t1}\mid S_t,S_{t-1},\ldots)P(S_{t1}\mid S_t,S_{t-1})P(St1​∣St​,St−1​,…)P(St1​∣St​,St−1​)在实际建模中更常见的处理方式不是不断增加“几阶”而是把必要历史加入状态。例如只记录位置不够时把“位置 速度”作为状态此时又可用一阶 MDP 表示。5. belief state对隐藏状态的概率判断POMDP 中 Agent 看不见真实状态需要维护 belief statebt(s)P(sts∣o1:t,a1:t−1) b_t(s)P(s_ts\mid o_{1:t},a_{1:t-1})bt​(s)P(st​s∣o1:t​,a1:t−1​)含义是在看到至今全部观察、并知道自己此前做过的动作后当前真实状态是sss的概率。例如70%钥匙在抽屉中 20%钥匙在其他位置 10%钥匙已被拿走belief 更新可理解为两步预测旧 belief 当前动作 → 推测可能的新状态 校正新观察到来 → 降低与观察不一致的状态概率形式上bt1(s′)∝Z(ot1∣s′,at)∑sP(s′∣s,at)bt(s) b_{t1}(s) \propto Z(o_{t1}\mid s,a_t) \sum_s P(s\mid s,a_t)b_t(s)bt1​(s′)∝Z(ot1​∣s′,at​)s∑​P(s′∣s,at​)bt​(s)不必死记公式。它表达的就是旧的世界猜测 刚做的动作 新收到的观察 → 更新后的世界猜测若 belief state 足够完整那么它本身可被当作一个新的“状态”。于是 POMDP 可以转写为 belief-MDP当前 belief 当前动作 → 下一个 belief6. POMDP 与本文的 LLM world model在From Word to World中Agent 接收的StS_tSt​是文本观察而不是完整的真实环境状态。观察房间里有一个关闭的抽屉。 隐藏信息抽屉中有什么钥匙是否已被拿走门是否锁着因此论文中的文本环境天然是 POMDP。论文的 world model 学习(S0,A1,S1,…,At)→St1 (S_0,A_1,S_1,\ldots,A_t)\rightarrow S_{t1}(S0​,A1​,S1​,…,At​)→St1​即根据历史观察、历史动作和当前动作预测下一观察。它没有显式维护传统 POMDP 方法中的概率分布btb_tbt​而是把类似的状态估计隐式编码在长上下文中的历史 模型参数中的环境规律传统 POMDP 方法论文中的 LLM world model显式维护 belief 概率分布隐式编码在上下文与网络表征中通常有明确状态变量状态主要是自由文本belief 更新规则可写出由模型生成行为近似更新不确定性可较直接分析不确定性更不透明、更难校准这也解释了 rollout drift若模型在早期错误判断隐藏状态后续会把错误预测当作事实继续生成使动作和状态逐步偏离真实环境。7. 对 Agent 工程的启示POMDP 视角下很多 Agent 失败不一定是不会推理而是对当前世界状态判断错了。较实用的系统设计包括保留足够的行动历史和关键状态。将重要事实写入外部 memory而非只依赖上下文窗口。在不确定性高时主动调用工具获取新观察。对不可逆动作使用预执行验证和规则约束。通过真实反馈定期校正内部状态避免长 rollout 漂移。可以概括为world model用于内部推演、比较候选动作 真实观察用于校正隐藏状态与限制模拟漂移最简复习马尔可夫性当前完整状态已携带有用历史。 MDPAgent 看得到完整状态。 POMDPAgent 看不全状态只能利用历史推断。 belief stateAgent 对隐藏真实状态的概率判断。 LLM world model以自然语言历史和模型表征隐式近似状态估计与状态转移。