基向量和投影矩阵

1. 投影向量

假设我们有一个向量b和一个向量q,求向量b在向量q上的投影向量p:
在这里插入图片描述

求向量p的长度：
$\begin{equation} q^Tb=|q|\cdot |b|\cdot\cos\theta\to |p|=|b|\cdot\cos\theta=\frac{q^Tb}{|q|} \end{equation}$
求向量p
$\begin{equation} p=|p|\cdot\frac{q}{|q|}=\frac{q^Tb}{|q|}\cdot\frac{q}{|q|}=\frac{q^Tbq}{q^Tq}=\frac{qq^T}{q^Tq}b \end{equation}$
投影矩阵P:
$\begin{equation} P=\frac{qq^T}{q^Tq},p=Pb,\mathrm{rank(P)}=1 \end{equation}$
假定向量q为单位向量， $q^Tq=1$ ,则投影向量P：
$\begin{equation} P=\frac{qq^T}{q^Tq}=qq^T,q^Tq=1,p=qq^Tb \end{equation}$
结论，当向量q为单位向量时，向量b在向量q上的投影p表示如下，并且我们可以看到投影平面P是由向量q组成的秩1平面，p为向量b在投影平面P= $qq^T$ 的投影向量
$\begin{equation} p=qq^Tb \end{equation}$

假设我们向量b是由一组线性无关单位向量 $x_1,x_2,\cdots,x_k$ 线性组合，可得如下：
$\begin{equation} b=x_1q_1+x_2q_2+\cdots+x_kq_k,q_i^Tq_i=1,q_i^Tq_j=0,i\neq j \end{equation}$

两边同时乘以 $q_1^T$ 可得：
$\begin{equation} q_1^Tb=x_1q_1^Tq_1+x_2q_1^Tq_2+\cdots+x_kq_1^Tq_k=x_1 \end{equation}$
可得： $x_k=q_k^Tb$ ,注为标量，位置随意放,代入原方程可得：
$\begin{equation} b=q_1q_1^Tb+q_2q_2^Tb+\cdots+q_kq_k^Tb \end{equation}$
重点，思路一：
对于给定向量b来说，如果想用基向量表示 $x_1,x_2,\cdots,x_k$ ,只需要将向量b分别投影到不同的平面上即可，这样就可以将向量b用基向量表示；这个就是我们的谱定理
重点，思路二：
可以把向量b比作一道自然光， $x_1,x_2,\cdots,x_k$ 比作一个单色光，而谱分解就相当于一个多棱镜，我们只需要将光b投影到不同单色光的纸上，得到其成分即可。

特征值分解和奇异值分解的不同在于，特征值分解通常需要矩阵A为方阵，而奇异值分解可以对在矩阵为任意大小矩阵即可。
$\begin{equation} A=U\Sigma V^T \end{equation}$

假设矩阵A的秩为r，可以分解如下：
那么矩阵A可以按照奇异值分解如下：
$\begin{equation} A=\sigma_1u_1v_1^T+\sigma_2u_2v_2^T+\cdots+\sigma_ru_rv_r^T \end{equation}$
我们来看 $u_1v_1^T$ ，这个本质上还是秩1矩阵，并且 $u_1$ 在矩阵A的列空间中， $v_1$ 在矩阵A的行空间中，且每一个 $u_1v_1^T$ 的大小为 $m\times n$ ，跟矩阵A的大小一样
在等式左右同时乘以x，大小为 $n\times 1$ 可得：
$\begin{equation} Ax=\sigma_1u_1v_1^Tx+\sigma_2u_2v_2^Tx+\cdots+\sigma_ru_rv_r^Tx \end{equation}$
那么Ax可以理解为向量x在r个有 $u_iv^T_i$ 组成的平面上的投影和。

特征向量分解
将矩阵A按照特征向量进行分解为秩为1的平面秩1矩阵，且平面矩阵秩1矩阵是由列向量组成的。
而列向量是来自列空间，可以在机器学习中以样本的形式表示。列空间的基向量是可以看做一个想本的配方。
– Ax可以看做是向量x在样本空间上的投影和
奇异值分解
将矩阵A按照奇异值向量分解为秩为1的平面秩1矩阵，而平面矩阵秩1矩阵是由列向量+行向量组成的。而u列向量来自列空间，v行向量来自行空间。
– Ax可以看做是向量x在样本空间+特征空间的投影和
那么从投影的角度来看，奇异向量组成的平面秩1矩阵得到的信息更加丰富。