本文是将文章《PCA 原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 $18\text{-}2$ 的内容如下：

$$y_i=a_i^{T}x=a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{im}{x}_m$$

解释公式 $18\text{-}2$

公式 $18\text{-}2$ 描述了一个线性变换，它将高维数据 $x$ 投影到一个新的坐标轴上，以生成一个新的变量 $y_i$。在PCA中，这一过程对应于将原始数据映射到主成分方向上。

公式中的符号含义

1. $x$：这是原始数据，是一个 $m$ 维的随机向量。它可以表示为：
   $$x=[x_1,x_2,\dots ,x_m{]}^T$$
   其中，$x_i$ 是原始数据中的第 $i$ 个特征。

2. $a_i$：这是一个 $m$ 维的向量，称为线性变换系数或权重向量，用于定义主成分的方向。它可以表示为：
   $$a_i=[a_{i1},a_{i2},\dots ,a_{im}{]}^T$$
   其中，$a_{ij}$ 是对应于第 $i$ 个主成分的第 $j$ 个权重。

3. $y_i$：这是变换后的变量，表示数据 $x$ 在新的方向（即第 $i$ 个主成分方向）上的投影值。换句话说，$y_i$ 是在 $a_i$ 指定的方向上，原始数据 $x$ 的线性组合。

4. $a_i^{T}x$：这是 $a_i$ 和 $x$ 的内积运算，用于计算数据 $x$ 在 $a_i$ 指定的方向上的投影值。

5. 展开形式 $a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{im}{x}_m$：表示通过线性组合的方式将原始数据 $x_1,x_2,\dots ,x_m$ 投影到新的方向 $a_i$ 上。

公式的几何意义

1. 投影的含义：

   • 线性变换 $y_i=a_i^{T}x$ 的本质是将原始数据 $x$ 投影到向量 $a_i$ 定义的方向上。
   • 向量 $a_i$ 表示新的坐标轴（即第 $i$ 个主成分方向）。
   • $y_i$ 表示数据在新的坐标轴上的位置。

2. 主成分方向：

   • 在PCA中，主成分方向 $a_i$ 是通过优化协方差矩阵的特征值问题得到的。具体来说，$a_i$ 是协方差矩阵的特征向量，代表数据分布方差最大的方向。

3. 降维的过程：

   • 如果我们只选择前 $k$ 个主成分方向，那么公式 $18\text{-}2$ 会将原始 $m$ 维数据 $x$ 投影到一个 $k$ 维空间中，从而实现降维。

与PCA的关系

1. 找到最大方差方向：
   在PCA中，我们希望找到一个方向 $a_i$，使得数据在该方向上的方差（即 $y_i$ 的方差）最大。这个方向正是通过协方差矩阵的特征值分解找到的。

2. 生成新特征（主成分）：
   公式 $18\text{-}2$ 定义了一个线性变换，将原始数据映射到新的特征空间。这些新特征 $y_i$ 就是主成分，每一个主成分都捕获了原始数据中不同方向上的主要信息。

举例说明

假设 $x=[x_1,x_2{]}^T$ 是二维数据，且我们定义一个方向 $a_1=[\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}{]}^T$，那么投影 $y_1$ 为：
$$y_1=a_1^{T}x=\frac{1}{\sqrt{2}}{x}_1+\frac{1}{\sqrt{2}}{x}_2$$
这里，$y_1$ 表示数据在 $a_1$ 方向上的投影值。如果我们选择另一个方向 $a_2=[\frac{1}{\sqrt{2}},-\frac{1}{\sqrt{2}}{]}^T$，那么投影 $y_2$ 为：
$$y_2=a_2^{T}x=\frac{1}{\sqrt{2}}{x}_1-\frac{1}{\sqrt{2}}{x}_2$$
这种方式将二维数据投影到 $a_1$ 和 $a_2$ 两个正交方向上，从而生成新的变量 $y_1$ 和 $y_2$。

公式 $18\text{-}2$ 的作用

• 线性变换：公式定义了如何将原始数据 $x$ 转换为新的主成分 $y_i$。
• 特征提取：通过选择不同的 $a_i$，我们可以从原始数据中提取出不同的信息。
• 降维的基础：通过构造一组正交向量 $a_1,a_2,\dots ,a_k$，可以将高维数据降维到低维空间。

总结

公式 $18\text{-}2$ 是PCA的核心公式之一，描述了通过线性变换将原始数据 $x$ 投影到新的主成分方向 $a_i$ 上的过程。它不仅为降维提供了理论基础，还揭示了数据在不同主成分方向上的变异性（信息量）。