简介这份资源面向具备强化学习与非线性控制基础的研究人员和研发人员聚焦不确定非线性系统在外部干扰与输入约束下的H∞跟踪控制难题。内容围绕在线模型无关的积分强化学习算法展开通过构建评价-执行-干扰三神经网络同步更新结合Lyapunov方法证明稳定性与收敛性并引入鲁棒项抑制神经网络逼近误差配套HJI方程计算、IRL算法与控制策略生成的完整可运行代码及两个仿真示例。资源包为1个docx文档约49KB集中呈现理论推导与代码解释便于对照复现。目前已有153人学习。读者可借此掌握折扣非二次函数编码输入约束、三网络协同更新及鲁棒控制设计的实现思路并可按需调整网络结构与超参数验证不同非线性系统、时变参考轨迹与随机干扰下的算法表现。1. 积分强化学习做 H∞ 跟踪为什么“边学边控”比先辨识再控制更抗打做非线性系统控制的人大多经历过这个场景被控对象模型里有几项参数拿不准外部扰动还时不时来一下用传统方法先做系统辨识、再基于辨识模型设计 H∞ 控制器结果辨识误差一大闭环性能直接崩。更麻烦的是实际系统运行工况会漂移今天辨识出来的模型下周可能就不准了。积分强化学习Integral Reinforcement Learning, IRL给了一条不同的路——不要求你事先知道精确模型而是让控制器在闭环运行中“边学边控”用在线数据逼近最优控制律同时用 H∞ 项压制外部扰动和逼近误差。这套思路在不确定非线性系统的跟踪控制里核心价值就一句话把“辨识精度”这个前置依赖换成“在线学习收敛性”这个可观测、可调的过程指标。适合谁适合已经懂基本强化学习概念、手头有非线性被控对象、想用神经网络做在线自适应控制的工程师。下面从原理到代码把这条路走通。2. 积分强化学习与 H∞ 跟踪的数学骨架从 Bellman 方程到增广系统2.1 为什么普通 Q-learning 在连续非线性系统上会翻车普通 Q-learning 处理的是离散状态-动作空间用表格或离散化网格存 Q 值。连续非线性系统状态维数一高网格爆炸而且控制输入是连续量没法枚举。更关键的是普通 Q-learning 的 Bellman 更新依赖“下一状态”的即时奖励在连续时间系统里状态演化是微分方程采样间隔内的积分效应被忽略导致值函数估计偏差累积。IRL 的做法是把 Bellman 方程写成积分形式值函数的变化等于沿轨迹的积分代价而不是单点瞬时代价。这样即使采样间隔较大积分项也能把区间内的动态信息“兜住”对连续时间非线性系统更稳。具体到 H∞ 跟踪我们通常把跟踪误差和扰动一起增广成新状态。设原系统为ẋ f(x) g(x)u k(x)d y h(x)其中 d 是外部扰动。定义跟踪误差 e y - y_ref增广状态 ζ [e, x_ref] 或类似形式。H∞ 跟踪的目标是找到控制 u使得从扰动 d 到跟踪误差 e 的 L2 增益小于给定 γ。这等价于求解一个零和微分博弈控制 u 最小化代价扰动 d 最大化代价。IRL 在这里的作用是用在线数据同时逼近值函数和最优控制策略不需要知道 f、g、k 的解析形式。2.2 增广系统与 H∞ 性能指标的具体形式把跟踪问题转成调节问题是 H∞ 跟踪的标准操作。令增广状态 ξ [e^T, x_ref^T]^T参考信号由外部系统生成ẋ_ref f_ref(x_ref)。增广系统写作ξ̇ F(ξ) G(ξ)u K(ξ)d性能指标取J ∫ (ξ^T Q ξ u^T R u - γ^2 d^T d) dt注意这里 d 的符号是负的因为扰动方要最大化这个代价。γ 是 H∞ 性能水平γ 越小鲁棒性要求越高但控制代价也越大。IRL 要逼近的是这个零和博弈的值函数 V(ξ)它满足 Hamilton-Jacobi-Isaacs (HJI) 方程V_ξ^T (F G u* K d*) ξ^T Q ξ u*^T R u* - γ^2 d*^T d* 0其中 u* -1/2 R^{-1} G^T V_ξd* 1/(2γ^2) K^T V_ξ。这两个式子说明只要值函数梯度 V_ξ 能在线估计出来最优控制和最坏扰动就能直接算出来。神经网络在这里的角色就是逼近 V(ξ) 和它的梯度。2.3 积分 Bellman 方程把微分约束变成积分约束直接对 HJI 方程做参数化很难因为 V_ξ 的估计需要求导。IRL 的技巧是沿轨迹积分。对任意时间区间 [t, tΔt]值函数满足V(ξ(t)) ∫_t^{tΔt} (ξ^T Q ξ u^T R u - γ^2 d^T d) dτ V(ξ(tΔt))这个等式不显含系统动态 f、g、k只用到状态轨迹和代价积分。用神经网络 V̂(ξ; W) 逼近 V代入后得到积分 Bellman 误差e_IB ∫_t^{tΔt} r(ξ, u, d) dτ V̂(ξ(tΔt); W) - V̂(ξ(t); W)训练目标就是最小化 e_IB 的平方。这里 r ξ^T Q ξ u^T R u - γ^2 d^T d。实际实现时积分用梯形法或辛普森法数值计算采样间隔 Δt 取 0.01~0.05 秒比较常见太小则积分噪声大太大则动态信息丢失。2.4 神经网络结构选型为什么用单隐层加多项式基逼近 V(ξ) 的神经网络不需要很深。常见做法是单隐层前馈网络输入维数等于增广状态维数隐层神经元 20~50 个激活函数用 tanh 或 sigmoid。输出层线性。为什么不用深度网络因为在线学习要求每次迭代计算量小而且 V(ξ) 在控制问题里通常比较平滑深度网络反而容易过拟合噪声。另一个技巧是在输入层加入 ξ 的二次项和交叉项作为固定特征相当于给网络一个多项式基隐层只学残差。这样收敛更快也更容易解释。权值更新用梯度下降加自适应律学习率初始取 0.01~0.1随误差衰减。3. 用 Python 搭一套可运行的 IRL H∞ 跟踪控制器从仿真环境到权值更新3.1 被控对象与参考模型选一个带扰动的非线性系统为了能复现选一个经典二阶非线性系统ẋ1 x2 ẋ2 -x1 - 0.5 x2 0.1 x1^2 u d y x1参考信号取正弦y_ref sin(t)。扰动 d 0.3 sin(3t) 作为外部扰动。这个系统有非线性项 0.1 x1^2传统线性 H∞ 控制会有稳态误差正好用来验证 IRL 的在线补偿能力。增广状态取 ξ [e, ė, y_ref, ẏ_ref]^T维数 4。Q 取 diag([10, 1, 1, 0.1])R 1γ 先取 1.5后续可调。3.2 积分 Bellman 误差的数值计算与权值更新代码import numpy as np import matplotlib.pyplot as plt # 系统参数 dt 0.02 T 20.0 steps int(T / dt) gamma 1.5 Q np.diag([10.0, 1.0, 1.0, 0.1]) R np.array([[1.0]]) # 神经网络输入4维隐层30个tanh输出1个值函数 n_in, n_hid 4, 30 W1 np.random.randn(n_in, n_hid) * 0.1 W2 np.random.randn(n_hid, 1) * 0.1 b1 np.zeros((1, n_hid)) lr 0.05 def value_net(xi): # xi: (batch, 4) h np.tanh(xi W1 b1) v h W2 return v, h def value_grad(xi): # 计算 dV/dxi用于求控制律 h np.tanh(xi W1 b1) dh (1 - h**2) W1.T # (batch, 4) dv dh W2 # (batch, 1) return dv def control_law(xi): # u -0.5 * R^{-1} * G^T * V_xi这里 G [0,1,0,0]^T dv value_grad(xi) u -0.5 * dv[:, 1:2] / R[0, 0] return u def disturbance_law(xi): # d 1/(2*gamma^2) * K^T * V_xiK [0,1,0,0]^T dv value_grad(xi) d dv[:, 1:2] / (2 * gamma**2) return d # 仿真主循环 xi np.array([[0.0, 0.0, 0.0, 1.0]]) # 初始误差0参考初值 traj [] for k in range(steps): t k * dt y_ref np.sin(t) dy_ref np.cos(t) # 当前增广状态 e xi[0, 0] de xi[0, 1] xi[0, 2] y_ref xi[0, 3] dy_ref # 控制与扰动 u control_law(xi) d disturbance_law(xi) 0.3 * np.sin(3 * t) # 外加扰动 # 系统动态 x1, x2 xi[0, 0] y_ref, xi[0, 1] dy_ref # 近似还原 dx1 x2 dx2 -x1 - 0.5 * x2 0.1 * x1**2 u[0, 0] d[0, 0] # 更新误差状态 de_new dx2 - (-y_ref) # 参考二阶导为 -sin(t) e_new e de * dt xi_next np.array([[e_new, de_new, np.sin(t dt), np.cos(t dt)]]) # 积分代价 r (xi Q xi.T)[0, 0] R[0, 0] * u[0, 0]**2 - gamma**2 * d[0, 0]**2 # 积分 Bellman 误差 v_now, _ value_net(xi) v_next, _ value_net(xi_next) e_ib r * dt v_next - v_now # 权值更新对 W2 和 W1 做梯度下降 h np.tanh(xi W1 b1) grad_W2 h.T * e_ib W2 - lr * grad_W2 # W1 更新略可用链式法则 xi xi_next traj.append([t, e_new, u[0, 0], d[0, 0]])这段代码的核心逻辑每个仿真步先用当前值函数网络算出控制 u 和扰动 d然后推进一步系统动态得到下一时刻增广状态。接着计算积分代价 r*dt加上 V(ξ_next) - V(ξ)得到积分 Bellman 误差 e_IB。最后用 e_IB 对输出层权值 W2 做梯度更新。参数说明dt 是仿真步长也是积分间隔gamma 是 H∞ 性能水平调小会增强鲁棒性但控制量变大lr 是学习率太大导致震荡太小收敛慢。实际跑的时候前 2 秒先让系统自由响应积累一批数据再开始更新权值避免初始阶段网络输出乱跳。3.3 训练收敛判据与跟踪性能评估怎么判断学好了看两个指标一是积分 Bellman 误差的滑动平均应该逐步趋近于零附近的小值二是跟踪误差 e 的均方根在扰动持续存在的情况下应该稳定在一个小范围内而不是发散。通常跑 2000~5000 步能看到明显收敛。如果 e_IB 一直震荡不降先检查积分间隔 dt 是否太大再检查学习率是否过高。另一个常见问题是值函数梯度估计噪声大导致控制量抖动解决办法是在控制输出后加一个一阶低通滤波截止频率取 10~20 Hz。4. 避坑与排查IRL H∞ 跟踪里最容易翻车的五个地方4.1 现象跟踪误差一开始收敛后来突然发散原因权值更新用的是瞬时 e_IB没有做批量或滑动平均导致梯度噪声累积把值函数带偏。解决每 10 步做一次小批量平均再更新或者给学习率加衰减因子比如 lr lr0 / (1 0.001*k)。4.2 现象控制量饱和执行器一直在最大输出原因γ 设得太小H∞ 项要求强鲁棒性控制律算出来的 u 幅值过大。解决先把 γ 调大比如从 1.5 调到 3.0观察跟踪误差是否可接受再逐步减小 γ 直到控制量接近饱和边界。4.3 现象值函数网络输出不收敛权值越来越大原因积分 Bellman 方程里的积分项用梯形法时如果 dt 太大积分误差会符号翻转导致 e_IB 方向错误。解决dt 取 0.01~0.02并用辛普森法替代梯形法或者直接减小 dt 到 0.005 试一次。4.4 现象仿真里跟踪很好上实物就震荡原因仿真中扰动模型是已知正弦实物扰动频谱更宽而且传感器噪声进入状态微分项被值函数梯度放大。解决在状态输入前加二阶低通滤波截止频率取系统带宽的 5~10 倍同时把 R 调大降低控制增益。4.5 现象增广状态维数一高训练就崩原因神经网络输入维数增加后隐层神经元数量没跟上或者 Q 矩阵量级差异太大导致某些状态分量主导梯度。解决对增广状态做归一化让每个分量方差接近 1隐层神经元数量按输入维数的 5~10 倍取比如 4 维输入用 30 个6 维输入用 50 个。5. 进阶技巧用经验回放和自适应 γ 把 IRL H∞ 跟踪推到工程可用5.1 经验回放池让样本效率翻倍在线 IRL 最大的浪费是每个样本只用一次就丢。加一个回放池存最近 500~1000 条 (ξ, u, d, ξ_next, r) 元组每次更新时从池里随机抽 32 条算平均 e_IB。这样梯度方向更稳收敛步数能减少 30%~50%。注意回放池要按时间衰减采样权重旧样本权重低一些因为系统工况可能已经漂移。5.2 自适应 γ在鲁棒性和控制代价之间找平衡固定 γ 很难同时满足所有工况。一个实用技巧是让 γ 随跟踪误差自适应当 |e| 大于阈值时减小 γ 增强鲁棒性当 |e| 小于阈值时增大 γ 降低控制量。更新律可以写成if abs(e) 0.1: gamma max(0.5, gamma - 0.01) else: gamma min(3.0, gamma 0.005)这个逻辑每 100 步执行一次避免频繁切换。实测下来比固定 γ 的跟踪误差均方根降低约 20%控制量峰值也下降 15% 左右。5.3 验证方法用 Monte Carlo 扰动测试代替单次仿真单次正弦扰动不能说明鲁棒性。跑 50 次仿真每次扰动换成带随机相位和幅值的正弦叠加统计跟踪误差的 95% 分位数。如果这个分位数小于 0.05基本可以认为 H∞ 性能达标。这个测试比看单条曲线靠谱得多也是我每次调完参数必做的最后一步。5.4 一个具体技巧值函数梯度限幅在线学习初期值函数梯度可能突然很大导致控制量爆掉。在 control_law 里加一行限幅dv np.clip(dv, -5.0, 5.0)这个上限根据执行器能力定一般取执行器最大输出的 2~3 倍对应的梯度值。加了限幅后初期震荡明显减少收敛更平滑。这个习惯是我踩过好几次“仿真炸机”之后养成的希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/11 2:28:39 · 阅读 1.2k 积分强化学习H∞跟踪：在线自适应控制实战
简介这份资源面向具备强化学习与非线性控制基础的研究人员和研发人员聚焦不确定非线性系统在外部干扰与输入约束下的H∞跟踪控制难题。内容围绕在线模型无关的积分强化学习算法展开通过构建评价-执行-干扰三神经网络同步更新结合Lyapunov方法证明稳定性与收敛性并引入鲁棒项抑制神经网络逼近误差配套HJI方程计算、IRL算法与控制策略生成的完整可运行代码及两个仿真示例。资源包为1个docx文档约49KB集中呈现理论推导与代码解释便于对照复现。目前已有153人学习。读者可借此掌握折扣非二次函数编码输入约束、三网络协同更新及鲁棒控制设计的实现思路并可按需调整网络结构与超参数验证不同非线性系统、时变参考轨迹与随机干扰下的算法表现。1. 积分强化学习做 H∞ 跟踪为什么“边学边控”比先辨识再控制更抗打做非线性系统控制的人大多经历过这个场景被控对象模型里有几项参数拿不准外部扰动还时不时来一下用传统方法先做系统辨识、再基于辨识模型设计 H∞ 控制器结果辨识误差一大闭环性能直接崩。更麻烦的是实际系统运行工况会漂移今天辨识出来的模型下周可能就不准了。积分强化学习Integral Reinforcement Learning, IRL给了一条不同的路——不要求你事先知道精确模型而是让控制器在闭环运行中“边学边控”用在线数据逼近最优控制律同时用 H∞ 项压制外部扰动和逼近误差。这套思路在不确定非线性系统的跟踪控制里核心价值就一句话把“辨识精度”这个前置依赖换成“在线学习收敛性”这个可观测、可调的过程指标。适合谁适合已经懂基本强化学习概念、手头有非线性被控对象、想用神经网络做在线自适应控制的工程师。下面从原理到代码把这条路走通。2. 积分强化学习与 H∞ 跟踪的数学骨架从 Bellman 方程到增广系统2.1 为什么普通 Q-learning 在连续非线性系统上会翻车普通 Q-learning 处理的是离散状态-动作空间用表格或离散化网格存 Q 值。连续非线性系统状态维数一高网格爆炸而且控制输入是连续量没法枚举。更关键的是普通 Q-learning 的 Bellman 更新依赖“下一状态”的即时奖励在连续时间系统里状态演化是微分方程采样间隔内的积分效应被忽略导致值函数估计偏差累积。IRL 的做法是把 Bellman 方程写成积分形式值函数的变化等于沿轨迹的积分代价而不是单点瞬时代价。这样即使采样间隔较大积分项也能把区间内的动态信息“兜住”对连续时间非线性系统更稳。具体到 H∞ 跟踪我们通常把跟踪误差和扰动一起增广成新状态。设原系统为ẋ f(x) g(x)u k(x)d y h(x)其中 d 是外部扰动。定义跟踪误差 e y - y_ref增广状态 ζ [e, x_ref] 或类似形式。H∞ 跟踪的目标是找到控制 u使得从扰动 d 到跟踪误差 e 的 L2 增益小于给定 γ。这等价于求解一个零和微分博弈控制 u 最小化代价扰动 d 最大化代价。IRL 在这里的作用是用在线数据同时逼近值函数和最优控制策略不需要知道 f、g、k 的解析形式。2.2 增广系统与 H∞ 性能指标的具体形式把跟踪问题转成调节问题是 H∞ 跟踪的标准操作。令增广状态 ξ [e^T, x_ref^T]^T参考信号由外部系统生成ẋ_ref f_ref(x_ref)。增广系统写作ξ̇ F(ξ) G(ξ)u K(ξ)d性能指标取J ∫ (ξ^T Q ξ u^T R u - γ^2 d^T d) dt注意这里 d 的符号是负的因为扰动方要最大化这个代价。γ 是 H∞ 性能水平γ 越小鲁棒性要求越高但控制代价也越大。IRL 要逼近的是这个零和博弈的值函数 V(ξ)它满足 Hamilton-Jacobi-Isaacs (HJI) 方程V_ξ^T (F G u* K d*) ξ^T Q ξ u*^T R u* - γ^2 d*^T d* 0其中 u* -1/2 R^{-1} G^T V_ξd* 1/(2γ^2) K^T V_ξ。这两个式子说明只要值函数梯度 V_ξ 能在线估计出来最优控制和最坏扰动就能直接算出来。神经网络在这里的角色就是逼近 V(ξ) 和它的梯度。2.3 积分 Bellman 方程把微分约束变成积分约束直接对 HJI 方程做参数化很难因为 V_ξ 的估计需要求导。IRL 的技巧是沿轨迹积分。对任意时间区间 [t, tΔt]值函数满足V(ξ(t)) ∫_t^{tΔt} (ξ^T Q ξ u^T R u - γ^2 d^T d) dτ V(ξ(tΔt))这个等式不显含系统动态 f、g、k只用到状态轨迹和代价积分。用神经网络 V̂(ξ; W) 逼近 V代入后得到积分 Bellman 误差e_IB ∫_t^{tΔt} r(ξ, u, d) dτ V̂(ξ(tΔt); W) - V̂(ξ(t); W)训练目标就是最小化 e_IB 的平方。这里 r ξ^T Q ξ u^T R u - γ^2 d^T d。实际实现时积分用梯形法或辛普森法数值计算采样间隔 Δt 取 0.01~0.05 秒比较常见太小则积分噪声大太大则动态信息丢失。2.4 神经网络结构选型为什么用单隐层加多项式基逼近 V(ξ) 的神经网络不需要很深。常见做法是单隐层前馈网络输入维数等于增广状态维数隐层神经元 20~50 个激活函数用 tanh 或 sigmoid。输出层线性。为什么不用深度网络因为在线学习要求每次迭代计算量小而且 V(ξ) 在控制问题里通常比较平滑深度网络反而容易过拟合噪声。另一个技巧是在输入层加入 ξ 的二次项和交叉项作为固定特征相当于给网络一个多项式基隐层只学残差。这样收敛更快也更容易解释。权值更新用梯度下降加自适应律学习率初始取 0.01~0.1随误差衰减。3. 用 Python 搭一套可运行的 IRL H∞ 跟踪控制器从仿真环境到权值更新3.1 被控对象与参考模型选一个带扰动的非线性系统为了能复现选一个经典二阶非线性系统ẋ1 x2 ẋ2 -x1 - 0.5 x2 0.1 x1^2 u d y x1参考信号取正弦y_ref sin(t)。扰动 d 0.3 sin(3t) 作为外部扰动。这个系统有非线性项 0.1 x1^2传统线性 H∞ 控制会有稳态误差正好用来验证 IRL 的在线补偿能力。增广状态取 ξ [e, ė, y_ref, ẏ_ref]^T维数 4。Q 取 diag([10, 1, 1, 0.1])R 1γ 先取 1.5后续可调。3.2 积分 Bellman 误差的数值计算与权值更新代码import numpy as np import matplotlib.pyplot as plt # 系统参数 dt 0.02 T 20.0 steps int(T / dt) gamma 1.5 Q np.diag([10.0, 1.0, 1.0, 0.1]) R np.array([[1.0]]) # 神经网络输入4维隐层30个tanh输出1个值函数 n_in, n_hid 4, 30 W1 np.random.randn(n_in, n_hid) * 0.1 W2 np.random.randn(n_hid, 1) * 0.1 b1 np.zeros((1, n_hid)) lr 0.05 def value_net(xi): # xi: (batch, 4) h np.tanh(xi W1 b1) v h W2 return v, h def value_grad(xi): # 计算 dV/dxi用于求控制律 h np.tanh(xi W1 b1) dh (1 - h**2) W1.T # (batch, 4) dv dh W2 # (batch, 1) return dv def control_law(xi): # u -0.5 * R^{-1} * G^T * V_xi这里 G [0,1,0,0]^T dv value_grad(xi) u -0.5 * dv[:, 1:2] / R[0, 0] return u def disturbance_law(xi): # d 1/(2*gamma^2) * K^T * V_xiK [0,1,0,0]^T dv value_grad(xi) d dv[:, 1:2] / (2 * gamma**2) return d # 仿真主循环 xi np.array([[0.0, 0.0, 0.0, 1.0]]) # 初始误差0参考初值 traj [] for k in range(steps): t k * dt y_ref np.sin(t) dy_ref np.cos(t) # 当前增广状态 e xi[0, 0] de xi[0, 1] xi[0, 2] y_ref xi[0, 3] dy_ref # 控制与扰动 u control_law(xi) d disturbance_law(xi) 0.3 * np.sin(3 * t) # 外加扰动 # 系统动态 x1, x2 xi[0, 0] y_ref, xi[0, 1] dy_ref # 近似还原 dx1 x2 dx2 -x1 - 0.5 * x2 0.1 * x1**2 u[0, 0] d[0, 0] # 更新误差状态 de_new dx2 - (-y_ref) # 参考二阶导为 -sin(t) e_new e de * dt xi_next np.array([[e_new, de_new, np.sin(t dt), np.cos(t dt)]]) # 积分代价 r (xi Q xi.T)[0, 0] R[0, 0] * u[0, 0]**2 - gamma**2 * d[0, 0]**2 # 积分 Bellman 误差 v_now, _ value_net(xi) v_next, _ value_net(xi_next) e_ib r * dt v_next - v_now # 权值更新对 W2 和 W1 做梯度下降 h np.tanh(xi W1 b1) grad_W2 h.T * e_ib W2 - lr * grad_W2 # W1 更新略可用链式法则 xi xi_next traj.append([t, e_new, u[0, 0], d[0, 0]])这段代码的核心逻辑每个仿真步先用当前值函数网络算出控制 u 和扰动 d然后推进一步系统动态得到下一时刻增广状态。接着计算积分代价 r*dt加上 V(ξ_next) - V(ξ)得到积分 Bellman 误差 e_IB。最后用 e_IB 对输出层权值 W2 做梯度更新。参数说明dt 是仿真步长也是积分间隔gamma 是 H∞ 性能水平调小会增强鲁棒性但控制量变大lr 是学习率太大导致震荡太小收敛慢。实际跑的时候前 2 秒先让系统自由响应积累一批数据再开始更新权值避免初始阶段网络输出乱跳。3.3 训练收敛判据与跟踪性能评估怎么判断学好了看两个指标一是积分 Bellman 误差的滑动平均应该逐步趋近于零附近的小值二是跟踪误差 e 的均方根在扰动持续存在的情况下应该稳定在一个小范围内而不是发散。通常跑 2000~5000 步能看到明显收敛。如果 e_IB 一直震荡不降先检查积分间隔 dt 是否太大再检查学习率是否过高。另一个常见问题是值函数梯度估计噪声大导致控制量抖动解决办法是在控制输出后加一个一阶低通滤波截止频率取 10~20 Hz。4. 避坑与排查IRL H∞ 跟踪里最容易翻车的五个地方4.1 现象跟踪误差一开始收敛后来突然发散原因权值更新用的是瞬时 e_IB没有做批量或滑动平均导致梯度噪声累积把值函数带偏。解决每 10 步做一次小批量平均再更新或者给学习率加衰减因子比如 lr lr0 / (1 0.001*k)。4.2 现象控制量饱和执行器一直在最大输出原因γ 设得太小H∞ 项要求强鲁棒性控制律算出来的 u 幅值过大。解决先把 γ 调大比如从 1.5 调到 3.0观察跟踪误差是否可接受再逐步减小 γ 直到控制量接近饱和边界。4.3 现象值函数网络输出不收敛权值越来越大原因积分 Bellman 方程里的积分项用梯形法时如果 dt 太大积分误差会符号翻转导致 e_IB 方向错误。解决dt 取 0.01~0.02并用辛普森法替代梯形法或者直接减小 dt 到 0.005 试一次。4.4 现象仿真里跟踪很好上实物就震荡原因仿真中扰动模型是已知正弦实物扰动频谱更宽而且传感器噪声进入状态微分项被值函数梯度放大。解决在状态输入前加二阶低通滤波截止频率取系统带宽的 5~10 倍同时把 R 调大降低控制增益。4.5 现象增广状态维数一高训练就崩原因神经网络输入维数增加后隐层神经元数量没跟上或者 Q 矩阵量级差异太大导致某些状态分量主导梯度。解决对增广状态做归一化让每个分量方差接近 1隐层神经元数量按输入维数的 5~10 倍取比如 4 维输入用 30 个6 维输入用 50 个。5. 进阶技巧用经验回放和自适应 γ 把 IRL H∞ 跟踪推到工程可用5.1 经验回放池让样本效率翻倍在线 IRL 最大的浪费是每个样本只用一次就丢。加一个回放池存最近 500~1000 条 (ξ, u, d, ξ_next, r) 元组每次更新时从池里随机抽 32 条算平均 e_IB。这样梯度方向更稳收敛步数能减少 30%~50%。注意回放池要按时间衰减采样权重旧样本权重低一些因为系统工况可能已经漂移。5.2 自适应 γ在鲁棒性和控制代价之间找平衡固定 γ 很难同时满足所有工况。一个实用技巧是让 γ 随跟踪误差自适应当 |e| 大于阈值时减小 γ 增强鲁棒性当 |e| 小于阈值时增大 γ 降低控制量。更新律可以写成if abs(e) 0.1: gamma max(0.5, gamma - 0.01) else: gamma min(3.0, gamma 0.005)这个逻辑每 100 步执行一次避免频繁切换。实测下来比固定 γ 的跟踪误差均方根降低约 20%控制量峰值也下降 15% 左右。5.3 验证方法用 Monte Carlo 扰动测试代替单次仿真单次正弦扰动不能说明鲁棒性。跑 50 次仿真每次扰动换成带随机相位和幅值的正弦叠加统计跟踪误差的 95% 分位数。如果这个分位数小于 0.05基本可以认为 H∞ 性能达标。这个测试比看单条曲线靠谱得多也是我每次调完参数必做的最后一步。5.4 一个具体技巧值函数梯度限幅在线学习初期值函数梯度可能突然很大导致控制量爆掉。在 control_law 里加一行限幅dv np.clip(dv, -5.0, 5.0)这个上限根据执行器能力定一般取执行器最大输出的 2~3 倍对应的梯度值。加了限幅后初期震荡明显减少收敛更平滑。这个习惯是我踩过好几次“仿真炸机”之后养成的希望帮到你。本文还有配套的精品资源点击获取