从最小作用量原理到最优控制理论

引言

最小作用量原理是物理学中的一个基本概念，它描述了物理系统在演化过程中选择的路径是使作用量达到极值的路径。这一原理不仅在经典力学中具有重要地位，还在量子力学、相对论和场论中得到了广泛应用。通过最小作用量原理，我们可以推导出系统的运动方程，如欧拉-拉格朗日方程和哈密顿方程。

在控制理论中，最优控制问题的核心是找到一个控制策略，使得系统的性能指标达到最优。性能指标通常是一个关于状态和控制输入的积分量，类似于物理中的作用量。因此，最小作用量原理为最优控制理论提供了一个自然的数学框架。

通过将最小作用量原理应用于控制理论，我们可以利用变分法和拉格朗日乘子法来处理最优控制问题。具体来说，我们定义一个广义作用量，其中包含了系统的状态方程作为约束条件。通过对广义作用量进行变分，我们可以得到最优控制的必要条件。这一过程不仅揭示了最优控制问题与物理系统演化之间的深刻联系，还为求解复杂的控制问题提供了有效的方法。

最小作用量原理

最小作用量原理是物理学中的一个基本概念。假设一个物理系统的拉格朗日量 $L$ 仅依赖于广义坐标 $q_i$ 、广义速度 $\dot{q}_i$ 和时间 $t$ 。作用量 $S$ 定义为拉格朗日量 $L$ 在时间区间 $t_1, t_2]$ 上的积分：

$\int_{t_1}^{t_2} L(q_i, \dot{q}_i, t) \, dt。$

根据最小作用量原理，物理系统的实际运动路径是使作用量 $S$ 达到极值的路径。通过对作用量 $S$ 进行变分，可以得到欧拉-拉格朗日方程：

$\frac{d}{dt} \left( \frac{\partial L}{\partial \dot{q}_i} \right) - \frac{\partial L}{\partial q_i} = 0。$

详细推导步骤

假设 $q_i(t)$ 进行一个小的变动 $\delta q_i(t)$ ，并要求在边界处变动为零，即 $\delta q_i(t_1) = \delta q_i(t_2) = 0$ 。变分后的作用量为：

$\delta S = \int_{t_1}^{t_2} L(q_i + \delta q_i, \dot{q}_i + \delta \dot{q}_i, t) \, dt。$

对 $S$ 进行变分，得到：

$\delta S = \int_{t_1}^{t_2} \left( \frac{\partial L}{\partial q_i} \delta q_i + \frac{\partial L}{\partial \dot{q}_i} \delta \dot{q}_i \right) dt。$

利用分部积分对第二项进行处理：

$\int_{t_1}^{t_2} \frac{\partial L}{\partial \dot{q}_i} \delta \dot{q}_i \, dt = \left[ \frac{\partial L}{\partial \dot{q}_i} \delta q_i \right]_{t_1}^{t_2} - \int_{t_1}^{t_2} \frac{d}{dt} \left( \frac{\partial L}{\partial \dot{q}_i} \right) \delta q_i \, dt。$

由于边界条件 $\delta q_i(t_1) = \delta q_i(t_2) = 0$ ，第一项为零。因此，变分 $\delta S$ 变为：

$\delta S = \int_{t_1}^{t_2} \left( \frac{\partial L}{\partial q_i} - \frac{d}{dt} \left( \frac{\partial L}{\partial \dot{q}_i} \right) \right) \delta q_i \, dt。$

为了使 $\delta S = 0$ 对任意 $\delta q_i(t)$ 成立，必须有：

$\frac{d}{dt} \left( \frac{\partial L}{\partial \dot{q}_i} \right) - \frac{\partial L}{\partial q_i} = 0。$

这就是欧拉-拉格朗日方程。

欧拉-拉格朗日方程在物理学中用于描述系统的运动规律，而在最优控制理论中，它的思想也被广泛应用。通过最小作用量原理，我们可以将物理系统的运动路径与控制系统的最优路径联系起来。具体来说，最优控制问题中的性能指标类似于物理中的作用量，而控制输入的选择则类似于物理系统选择其运动路径的过程。通过变分法，我们可以得到最优控制的必要条件，这些条件与欧拉-拉格朗日方程形式上非常相似。因此，欧拉-拉格朗日方程不仅是物理学中的基本方程，也是最优控制理论中的重要工具。

最优控制公式推导

在控制理论中，我们的目标是找到一个合适的控制输入 $u (t)$ ，使得系统在满足一定约束条件的情况下，某个性能指标 $J$ 达到最小化。这个过程与物理系统通过最小作用量原理选择其运动路径的过程非常相似。为了更好地理解这一点，我们首先需要了解一些基本概念和背景知识。

控制理论的基本概念

控制理论是研究如何通过控制输入来影响系统行为的学科。一个典型的控制系统由以下几个部分组成：

被控对象：这是我们希望控制的系统，例如机械臂、飞行器或化学反应器。
控制输入：这是我们施加到系统上的信号或动作，用于引导系统达到期望的状态。
状态变量：这些变量描述了系统在任意时刻的状态，例如位置、速度或温度。
性能指标：这是一个函数，用于评估系统性能的好坏。我们的目标是通过选择合适的控制输入，使性能指标达到最优。

性能指标的定义

在最优控制问题中，性能指标 $J$ 通常定义为一个积分形式的函数，它反映了系统在整个控制过程中的表现。具体形式为：

$\int_{t_0}^{t_f} \mathcal{L}(x, u, t) \, dt，$

其中 $\mathcal{L}$ 是拉格朗日函数，类似于物理中的拉格朗日量， $x$ 是状态变量， $u$ 是控制输入， $t$ 是时间。

动力学系统的状态方程

假设我们有一个动力学系统，其状态方程描述了系统状态随时间的变化关系。状态方程通常表示为：

$\dot{x} = f(x, u, t)。$

这里， $\dot{x}$ 表示状态变量 $x$ 对时间的导数， $f$ 是一个函数，描述了状态变量如何受当前状态 $x$ 和控制输入 $u$ 的影响。

通过结合状态方程和性能指标，我们可以将最优控制问题形式化为一个数学优化问题。我们的目标是找到一个控制输入 $u (t)$ ，使得性能指标 $J$ 最小化，同时满足状态方程的约束。

广义作用量和拉格朗日乘子法

为了将最小作用量原理应用于最优控制问题，我们引入拉格朗日乘子法。定义广义作用量为

$\int_{t_0}^{t_f} \left( \mathcal{L}(x, u, t) + \lambda^T(t) [\dot{x} - f(x, u, t)] \right) dt。$

这里， $\lambda(t)$ 是拉格朗日乘子，用于引入状态约束。

详细解释：

通过引入拉格朗日乘子，状态方程 $\dot{x} = f(x, u, t)$ 被包含在广义作用量中。变分法对广义作用量 $S$ 进行变分时，拉格朗日乘子项确保了状态方程的约束条件被满足。

具体来说，变分后得到的方程包括：

对 $x$ 的变分，得到状态方程的共轭动量方程。共轭动量方程描述了系统状态变量的变化率与拉格朗日乘子的关系，确保系统的动力学约束被满足。
对 $u$ 的变分，得到最优控制的必要条件。最优控制的必要条件是指在给定约束条件下，使性能指标达到最优的控制输入 $u (t)$ 必须满足的条件。
对 $\lambda$ 的变分，确保状态方程的约束。约束方程确保系统的状态方程在优化过程中始终被满足，即系统的实际运动轨迹符合动力学方程。

变分法求解

对广义作用量 $S$ 进行变分，得到最优控制的必要条件。首先，定义广义作用量：

$\int_{t_0}^{t_f} \left( \mathcal{L}(x, u, t) + \lambda^T(t) [\dot{x} - f(x, u, t)] \right) dt。$

其中， $\lambda(t)$ 是拉格朗日乘子。接下来，对广义作用量 $S$ 进行变分，分别对 $x$ 、 $u$ 和 $\lambda$ 进行变分。

对 $x$ 的变分：

$\delta S = \int_{t_0}^{t_f} \left( \frac{\partial \mathcal{L}}{\partial x} \delta x + \lambda^T \delta \dot{x} - \lambda^T \frac{\partial f}{\partial x} \delta x \right) dt。$

利用分部积分法处理 $\lambda^T \delta \dot{x}$ 项：

$\int_{t_0}^{t_f} \lambda^T \delta \dot{x} \, dt = \left. \lambda^T \delta x \right|_{t_0}^{t_f} - \int_{t_0}^{t_f} \frac{d\lambda^T}{dt} \delta x \, dt。$

由于边界条件 $\delta x(t_0) = \delta x(t_f) = 0$ ，第一项为零。因此，变分 $\delta S$ 变为：

$\delta S = \int_{t_0}^{t_f} \left( \frac{\partial \mathcal{L}}{\partial x} - \frac{d\lambda}{dt} - \lambda^T \frac{\partial f}{\partial x} \right) \delta x \, dt。$

为了使 $\delta S = 0$ 对任意 $\delta x(t)$ 成立，必须有：

$\boxed{\frac{\partial \mathcal{L}}{\partial x} - \frac{d\lambda}{dt} - \lambda^T \frac{\partial f}{\partial x} = 0。}$

对 $u$ 的变分：

$\delta S = \int_{t_0}^{t_f} \left( \frac{\partial \mathcal{L}}{\partial u} \delta u + \lambda^T \frac{\partial f}{\partial u} \delta u \right) dt。$

为了使 $\delta S = 0$ 对任意 $\delta u(t)$ 成立，必须有：

$\boxed{\frac{\partial \mathcal{L}}{\partial u} + \lambda^T \frac{\partial f}{\partial u} = 0。}$

对 $\lambda$ 的变分：

$\delta S = \int_{t_0}^{t_f} \left( \dot{x} - f(x, u, t) \right) \delta \lambda \, dt。$

为了使 $\delta S = 0$ 对任意 $\delta \lambda(t)$ 成立，必须有：

$\boxed{\dot{x} = f(x, u, t)。}$

综上所述，最优控制的必要条件包括：

状态方程：

$\dot{x} = f(x, u, t)。$
共轭动量方程：

$\frac{d\lambda}{dt} = -\frac{\partial \mathcal{L}}{\partial x} + \lambda^T \frac{\partial f}{\partial x}。$
最优控制条件：

$\frac{\partial \mathcal{L}}{\partial u} + \lambda^T \frac{\partial f}{\partial u} = 0。$

最优控制举例

假设我们有一个简单的线性系统，其状态方程为

$\dot{x} = Ax + Bu，$

其中 $x$ 是状态向量， $u$ 是控制输入， $A$ 和 $B$ 是已知矩阵。我们希望最小化以下性能指标：

$\frac{1}{2} \int_{0}^{\infty} \left( x^T Q x + u^T R u \right) dt，$

其中 $Q$ 和 $R$ 是权重矩阵，分别用于衡量状态偏离和控制能量的代价。

首先，定义哈密顿量 $\mathcal{H}$ 为：

$\mathcal{H} = \frac{1}{2} x^T Q x + \frac{1}{2} u^T R u + \lambda^T (Ax + Bu)。$

哈密顿量和拉格朗日量是物理学中两个重要的概念。拉格朗日量 $L$ 通常用于描述系统的动力学，其形式为广义坐标 $q_i$ 和广义速度 $\dot{q}_i$ 的函数。通过最小作用量原理，拉格朗日量可以用来推导系统的运动方程。而哈密顿量 $H$ 则是通过拉格朗日量的勒让德变换得到的，通常用于描述系统的能量，其形式为广义坐标 $q_i$ 和共轭动量 $p_i$ 的函数。哈密顿量在哈密顿力学中起着核心作用，通过哈密顿正则方程描述系统的演化。

在最优控制问题中，我们使用哈密顿量是因为它能够将状态变量 $x$ 、控制变量 $u$ 和共轭变量 $\lambda$ 结合在一个函数中，从而便于应用最优控制的必要条件来求解问题。哈密顿量主要用于描述系统在最优控制问题中的瞬时状态和控制，而拉格朗日量则用于描述系统的整体演化路径。通过引入哈密顿量，我们可以更方便地处理最优控制问题中的变分和优化过程。

根据最优控制的必要条件，对 $x$ 、 $u$ 和 $\lambda$ 进行变分，得到以下方程：

状态方程：

$\dot{x} = \frac{\partial \mathcal{H}}{\partial \lambda} = Ax + Bu。$

共轭动量方程：

$\dot{\lambda} = -\frac{\partial \mathcal{H}}{\partial x} = -Qx - A^T \lambda。$

最优控制条件：

$\frac{\partial \mathcal{H}}{\partial u} = 0 \Rightarrow R u + B^T \lambda = 0 \Rightarrow u = -R^{-1} B^T \lambda。$

为了简化问题的求解过程，我们可以将 $\lambda$ 表示为 $P x$ ，即 $\lambda = P x$ 。这是因为在许多最优控制问题中， $\lambda$ 通常可以表示为状态变量 $x$ 的线性组合，其中 $P$ 是一个待求解的矩阵。通过这种表示方法，我们可以将共轭动量方程中的 $\lambda$ 替换为 $P x$ ，从而将问题转化为关于 $P$ 和 $x$ 的方程，便于进一步求解。代入共轭动量方程：

$\dot{\lambda} = P \dot{x} + \dot{P} x = P (Ax + Bu) + \dot{P} x。$

将其代入共轭动量方程：

$\dot{P} x = -Qx - A^T P x。$

将 $u = -R^{-1} B^T P x$ 代入上式：

$R^{-1} B^T P x) + \dot{P} x = -Qx - A^T P x。$

这一步化简是通过将方程两边的项按 $x$ 的系数进行整理得到的。首先，将方程中的所有项移到等号的一边：

$R^{-1} B^T P x + \dot{P} x + Q x + A^T P x = 0。$

然后，将所有含有 $x$ 的项合并在一起：

$R^{-1} B^T P + \dot{P} + Q + A^T P) x = 0。$

由于 $x$ 是任意的，可以将 $x$ 前的系数单独列出，得到：

$R^{-1} B^T P + \dot{P} + Q + A^T P = 0。$

最后，假设 $\dot{P} = 0$ ，即 $P$ 是常数矩阵，得到：

$A^T P + P A - P B R^{-1} B^T P + Q = 0。$

求解该代数黎卡提方程，详细步骤如下：

初始条件：首先，确定初始条件 $P (0)$ 。在许多情况下，初始条件可以设定为零矩阵或单位矩阵，具体取决于问题的具体要求。
迭代求解：使用数值方法迭代求解黎卡提方程。常用的方法包括：
- 梯度下降法：通过不断调整 $P$ 的值，使得黎卡提方程的残差逐渐减小，直到收敛到一个稳定的解。
- 牛顿-拉夫森法：利用牛顿-拉夫森迭代法求解非线性方程组，通过线性化黎卡提方程并逐步逼近解。
- 离散黎卡提方程求解法：对于离散时间系统，可以使用离散黎卡提方程的求解方法，如动态规划法。
验证解的正定性：在每一步迭代中，检查矩阵 $P$ 是否保持对称正定。如果 $P$ 不是对称正定的，需要调整初始条件或迭代方法。
收敛判定：设定收敛判定条件，如残差的范数小于某个阈值，或者迭代次数达到预定的最大值。当满足收敛条件时，停止迭代，得到最终的 $P$ 矩阵。
计算最优反馈增益矩阵：一旦求得对称正定矩阵 $P$ ，最优反馈增益矩阵 $K$ 则为：

$K = R^{-1} B^T P。$

这是因为在最优控制问题中，我们通过最小化性能指标 $\frac{1}{2} \int_0^\infty (x^T Q x + u^T R u) \, dt$ 来确定控制律 $u$ 。通过变分法和拉格朗日乘子法，我们得到了黎卡提方程。求解黎卡提方程得到的对称正定矩阵 $P$ ，可以用来构造最优反馈增益矩阵 $K$ 。具体来说， $K$ 的形式 $K = R^{-1} B^T P$ 是为了确保控制输入 $u$ 最小化性能指标 $J$ ，从而实现系统的最优控制。