问题

两个信号的相关，以下的区别是什么？

coscor = dot(y/norm(y),b/norm(b))
dotprodcor = dot(y,b)
pearson = corrcoef(y,b)
crosscor = xcorr(y,b)

coscor =-0.2933dotprodcor =-80.4323pearson =1.0000   -0.2959-0.2959    1.0000

crosscor

互相关与卷积

互相关（Cross-correlation）：

互相关是一种用于衡量两个信号或序列之间相似程度的统计量。它是通过滑动一个信号相对于另一个信号，并计算不同位置上的点积来实现的。

在实际应用中，由于信号通常是有限长的，求和范围会限制在信号长度的范围内。

xcorr互相关

xcorr2 2-D cross-correlation

conv卷积

卷积（Convolution）：

卷积也是一种滑动操作，但它与互相关的不同之处在于，卷积在滑动之前会对其中一个信号进行翻转（或称为反转、镜像）。

卷积计算的两种方法，参见禹晶、肖创柏、廖庆敏《数字图像处理（电子信息前沿技术丛书）》
例3-15

例3-16

conv2二维卷积

关系与区别

相似性：

• 互相关和卷积都是基于滑动窗口的运算，都涉及到两个信号的相乘和累加。
• 在某些情况下，互相关可以看作是卷积的一种特殊情况，即当其中一个信号不进行翻转时。

区别：

• 翻转操作：卷积在滑动之前会对其中一个信号进行翻转，而互相关则不会。
  xconv(f, h) = conv(f, fliplr( r))

在卷积神经网络（CNN）中，通常所说的“卷积”实际上是指的互相关操作，因为卷积核在滑动过程中并没有进行翻转。然而，这种用法并不影响CNN在图像处理中的有效性。

xcov互协方差

xcov 计算其输入的均值，减去均值，然后调用 xcorr。

相关系数

cov协方差与协方差矩阵

协方差（Covariance）是在概率论和统计学中用来衡量两个随机变量或数据集之间线性关系的一个统计量。它描述的是两个变量在一组观测值中的变动是否一致。具体来说，协方差可以告诉我们两个变量是否倾向于在同一方向上变化（正协方差）或者是在相反的方向上变化（负协方差）。

对于两个随机变量 $X$ 和 $Y$，它们的协方差可以通过以下公式计算得出：

$$\text{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$$

这里的 $E[X]$ 和 $E[Y]$ 分别代表随机变量 $X$ 和 $Y$ 的期望值（均值）。

在样本数据的情况下，协方差的计算可以简化为：

$$\text{Cov}(X,Y)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$

式中：

• $X_i$ 和 $Y_i$ 是两个变量 $X$ 和 $Y$ 的第 $i$ 个观测值。
• $n$ 是观测值的数量。
• $\bar{X}$ 和 $\bar{Y}$ 分别是 $X$ 和 $Y$ 的样本均值。

协方差的符号（正或负）可以告诉我们两个变量之间的关系类型：

• 当 $\text{Cov}(X,Y)>0$ 时，表明 $X$ 和 $Y$ 倾向于同方向变化，即正相关。
• 当 $\text{Cov}(X,Y)<0$ 时，表明 $X$ 和 $Y$ 倾向于反方向变化，即负相关。
• 当 $\text{Cov}(X,Y)=0$ 时，通常认为 $X$ 和 $Y$ 在统计上是独立的或至少是没有线性相关性。

需要注意的是，协方差的大小受变量量纲和尺度的影响，所以当需要比较不同变量之间的关系强度时，通常会使用标准化后的度量——相关系数。

corrcoef相关系数与相关系数矩阵

相关系数（Correlation Coefficient）是统计学中的一个重要概念，用于衡量两个变量之间的线性相关程度。当两个变量在散点图上呈现为一条直线或接近一条直线时，表示它们之间存在线性关系，此时可以使用相关系数来量化这种关系的强度和方向。

最常见的相关系数是皮尔逊相关系数（Pearson Correlation Coefficient），用$r$或$\rho$表示。
相关系数可以通过协方差来表示。相关系数是协方差的一种标准化形式。它通过除以两个变量的标准差来标准化协方差，从而消除变量量纲的影响，其值位于-1和1之间。

corrcoef计算相关系数矩阵

图像均值、标准差和相关系数

mean2、std2 和 corr2 函数计算图像的标准统计量。mean2 和 std2 计算矩阵元素的均值和标准差。corr2 计算两个相同大小的矩阵之间的相关系数。

这些函数是 mean、std 和 corrcoef 函数的二维版本。

内积与相似系数

内积（Inner Product）

内积（Inner Product），也称为点积（Dot Product）或标量积，它接受两个向量作为输入，并输出一个标量（通常是实数或复数）。

欧几里得空间中的内积

在 ${\mathbb{R}}^n$（$n$-维欧几里得空间）中，如果有两个向量 $\mathbf{a}=(a_1,a_2,\dots ,a_n)$ 和 $\mathbf{b}=(b_1,b_2,\dots ,b_n)$，那么它们的内积定义为：

$$\mathbf{a}\cdot \mathbf{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

这个定义给出了两个向量的分量相乘然后求和的结果。

内积的性质

内积满足以下基本性质：

1. 对称性：对于实向量空间，$\mathbf{a}\cdot \mathbf{b}=\mathbf{b}\cdot \mathbf{a}$；对于复向量空间，$⟨\mathbf{a},\mathbf{b}⟩=\overline{⟨\mathbf{b},\mathbf{a}⟩}$。
2. 线性：对于所有向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 和所有标量 $\alpha$，我们有 $\mathbf{a}\cdot (\mathbf{b}+\mathbf{c})=\mathbf{a}\cdot \mathbf{b}+\mathbf{a}\cdot \mathbf{c}$ 和 $\mathbf{a}\cdot (\alpha \mathbf{b})=\alpha (\mathbf{a}\cdot \mathbf{b})$。
3. 正定性：对于任意非零向量 $\mathbf{a}$，我们有 $\mathbf{a}\cdot \mathbf{a}>0$；如果 $\mathbf{a}=0$，则 $\mathbf{a}\cdot \mathbf{a}=0$。

内积在许多方面都有应用，比如计算向量之间的角度、确定向量是否正交、计算投影等。在几何上，两个向量的内积还等于它们的模长乘积与夹角余弦的乘积，即：

$$\mathbf{a}\cdot \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \cos (\theta )$$

这里 $\Vert \mathbf{a}\Vert$ 和 $\Vert \mathbf{b}\Vert$ 分别是向量 $\mathbf{a}$ 和 $\mathbf{b}$ 的长度（模），$\theta$ 是它们之间的夹角。

相似系数（Similarity Coefficient）

余弦相似度：一种常用的相似系数是余弦相似度（Cosine Similarity），它基于两个向量的内积和它们的模长（或范数）来定义。余弦相似度的公式如下：

$$\text{similarity}(\mathbf{a},\mathbf{b})=\cos (\theta )=\frac{\mathbf{a}\cdot \mathbf{b}}{\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert }$$

这里，$\theta$ 是向量 $\mathbf{a}$ 和 $\mathbf{b}$ 之间的夹角，$\Vert \mathbf{a}\Vert$ 和 $\Vert \mathbf{b}\Vert$ 分别是向量 $\mathbf{a}$ 和 $\mathbf{b}$ 的模长。余弦相似度的取值范围是 $[-1,1]$，值越接近 1 表示相似度越高，越接近 -1 表示相似度越低，0 表示正交（即不相关）。

当向量归一化为单位向量时，两个向量的内积即计算它们之间的夹角余弦。

皮尔逊相关系数：另一种基于内积的相似性度量是皮尔逊相关系数（Pearson Correlation Coefficient），它考虑了变量的标准化（去除了尺度影响），并且是内积在标准化向量上的应用：

$$r_{xy}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}}$$

这里，$x_i$ 和 $y_i$ 是向量的元素，$\bar{x}$ 和 $\bar{y}$ 是相应的均值。

在机器学习中，内积经常用来衡量特征向量之间的相似性。