基于SVD的全秩矩阵逆

英文原文：

As you might remember from your undergraduate-level courses, every real matrix can be decomposed in its singular-value decomposition (SVD) as follows

$$A=U\Sigma V^T$$

where $U\in {\mathbb{R}}^{m\times m}$and $V\in {\mathbb{R}}^{n\times n}$ are orthonormal matrices (i.e., they are square, full rank, and their inverses are given by $U{U}^T=I_{m\times m}$and $V{V}^T=V^{T}V=I_{n\times n}$). Moreover, $\Sigma$ is a (rectangular) diagonal matrix composed of the singular values of the matrix given by ${\sigma }_i$for $i=1,\dots ,m$, ordered from the largest singular value towards the smallest singular value. Note that singular values are always non-negative.

Note: All singular values of a given matrix will be non-zero when the matrix has full rank.

中文翻译：

如你在本科阶段课程中可能学到的那样，每个实矩阵都可以通过其奇异值分解 (SVD) 表示如下：

$$A=U\Sigma V^T$$

其中，$U\in {\mathbb{R}}^{m\times m}$ 和 $V\in {\mathbb{R}}^{n\times n}$是正交矩阵（即，它们是方阵，满秩，且它们的逆由 $U{U}^T=I_{m\times m}$和 $V{V}^T=V^{T}V=I_{n\times n}$给出）。此外，$\Sigma$是一个（矩形的）对角矩阵，由矩阵的奇异值组成，记为 ${\sigma }_i$ ，$i=1,\dots ,m$，按从最大奇异值到最小奇异值的顺序排列。请注意，奇异值总是非负的。

注意：当矩阵是满秩时，其所有奇异值都将是非零的。

解释

奇异值分解（SVD）是一种重要的矩阵分解方法，用于将一个矩阵分解为三个部分：一个正交矩阵 $U$、一个对角矩阵 $\Sigma$（包含矩阵的奇异值）和另一个正交矩阵 $V$。这种分解具有许多应用，如数据降维、矩阵逆计算和信号处理等。

1. 正交矩阵 $U$ 和 $V$：

   • 正交矩阵的特点是它们的行和列是相互正交的（垂直的），且单位长度。
   • 正交矩阵的逆等于它的转置，即 $U{U}^T=I$和 $V{V}^T=I$，这表明它们是满秩矩阵。

2. 对角矩阵 $\Sigma$：

   • $\Sigma$ 包含了原矩阵的奇异值，这些奇异值是按从大到小的顺序排列的。
   • 奇异值总是非负的，当矩阵是满秩时，所有奇异值都是非零的。
   • 如果矩阵不是满秩，那么会有一些奇异值为零，这表示矩阵的某些行或列之间存在线性依赖。

3. 满秩矩阵的性质：

   • 如果矩阵是满秩的，那么它的所有奇异值都是非零的。
   • 满秩意味着矩阵的行或列是线性独立的，能够代表完整的信息。

这种奇异值分解可以帮助我们分析矩阵的结构，特别是在矩阵可能是奇异或非方形的情况下，SVD 提供了计算伪逆和解决不适定问题的一种方法。

右伪逆

英文原文：

With these properties, a right pseudo-inverse can be defined for any matrix for which all singular values are non-zero. The right pseudo-inverse is

$$A^{†}\triangleq V{\Sigma }^{\text{inv}}{U}^T.$$

where ${\Sigma }^{\text{inv}}$ is a compatible matrix where we use the reciprocal of the singular values. For example, for a square matrix we have

$${\Sigma }^{\text{inv}}\triangleq \left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2}& \cdots & 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \frac{1}{{\sigma }_m}\end{array}\right]$$
and for a rectangular matrix
$${\Sigma }^{\text{inv}}\triangleq \left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2}& \cdots & 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \frac{1}{{\sigma }_m}\\ 0& 0& 0& 0\end{array}\right]$$

中文翻译：

基于这些性质，可以为所有奇异值均非零的矩阵定义右伪逆。右伪逆定义为：

$$A^{†}\triangleq V{\Sigma }^{\text{inv}}{U}^T.$$

其中，${\Sigma }^{\text{inv}}$ 是一个与 $\Sigma$ 兼容的矩阵，其中每个奇异值取倒数。
例如，对于方阵，我们有
$${\Sigma }^{\text{inv}}\triangleq \left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2}& \cdots & 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \frac{1}{{\sigma }_m}\end{array}\right]$$
对于矩形矩阵
$${\Sigma }^{\text{inv}}\triangleq \left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2}& \cdots & 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \frac{1}{{\sigma }_m}\\ 0& 0& 0& 0\end{array}\right]$$

解释

这段文字解释了如何利用奇异值分解（SVD）来构造矩阵的伪逆（pseudo-inverse）。伪逆是一种“广义逆”，特别适用于非方阵和奇异矩阵的情况，即矩阵可能没有标准的逆。

1. 伪逆的构造方法：

   • 给定一个矩阵 $A$，我们可以将其分解为 $A=U\Sigma V^T$。
   • 要构造 $A$ 的伪逆 $A^{†}$，我们需要使用 $V$、${\Sigma }^{\text{inv}}$ 和 $U^T$。
   • 这里，${\Sigma }^{\text{inv}}$ 是对角矩阵 $\Sigma$ 的“逆”，其中包含 $\Sigma$ 中奇异值的倒数。

2. 对角矩阵 ${\Sigma }^{\text{inv}}$：

   • 如果 $\Sigma$ 中的奇异值是 ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_m$，那么 ${\Sigma }^{\text{inv}}$ 的对角线上将是它们的倒数 $\frac{1}{{\sigma }_1},\frac{1}{{\sigma }_2},\dots ,\frac{1}{{\sigma }_m}$。
   • 这要求所有奇异值 ${\sigma }_i$ 非零，否则无法取倒数。因此，仅当矩阵满秩时，才可以直接使用这种方式计算伪逆。

总之，右伪逆是通过SVD构造的一种广义逆矩阵，对于矩阵奇异值均为非零的满秩矩阵，它是存在且唯一的。

当矩阵为矩形时如何构造其伪逆的对角矩阵 ${\Sigma }^{\text{inv}}$。

1. 矩形矩阵的奇异值分解：

   • 对于一个矩形矩阵 $A$，奇异值分解 (SVD) 仍然适用，可以将其分解为 $A=U\Sigma V^T$。
   • 其中 $\Sigma$ 是一个对角矩阵，但它的大小可能并不是方阵，而是一个矩形（例如 $m\times n$）。

2. 伪逆矩阵 ${\Sigma }^{\text{inv}}$ 的构造：

   • 当 $A$ 是矩形时，${\Sigma }^{\text{inv}}$的构造略有不同。
   • 对于所有非零的奇异值 ${\sigma }_i$，我们在对角线上填入其倒数 $\frac{1}{{\sigma }_i}$。
   • 如果 $A$是 $m\times n$ 的矩阵，并且 $m\ne n$，则 ${\Sigma }^{\text{inv}}$的大小将与 $\Sigma$兼容，但可能在矩阵的末尾出现额外的零行或零列。

3. 作用：

   • 通过将 $\Sigma$ 中的奇异值取倒数填入 ${\Sigma }^{\text{inv}}$ 中，我们可以构造矩形矩阵的伪逆 $A^{†}=V{\Sigma }^{\text{inv}}{U}^T$。
   • 这种伪逆在最小二乘解、数据降维等领域有广泛应用，特别是在原矩阵没有标准逆的情况下。

总结来说，这种方法可以让我们在矩形矩阵上应用伪逆，即使矩阵不满秩或不为方阵，这在实际计算中具有重要意义。