系列文章目录

数字图像处理学习笔记（一）---- 图像数字化与显示
数字图像处理笔记（二）---- 像素加图像统计特征
数字图像处理笔记（三) ---- 傅里叶变换的基本原理

---

---

前言

慕课视频地址：https://www.icourse163.org/course/HHU-1471232170 from=searchPage&outVendor=zw_mooc_pcssjg_
注重讲解图像变换以及分解过程中物理含义
理解数学模型如何描述和解决实际应用问题
培养对复杂工程问题的分析解决的能力

---

一、数字图像处理

包括图像增强，图像压缩，图像重建，图像融合，图像分类，目标识别。

图像增强技术
图像增强技术的应用范围很广，最常见的就是手机美颜功能，可以平滑掉面部的瑕疵和纹理，也可以实现眼睛鼻子嘴唇等部位的特征增强。图像增强技术在医学影像领域也很重要，例如x光片，和CT影像，对图像全图或感兴趣区域进行局部对比度拉伸，方便医生做出诊断。

图像压缩技术
图像压缩技术是研究如何对数字图像进行压缩和编码，降低图像传输和存储所占用的带宽和存储资源的技术。我们平时的照片通常是jpg格式文件，视频通常是mp4格式文件。这些文件格式中都包含有图像压缩技术。

图像重建技术
图像重建技术是基于对场景有限的观测数据重建出清晰、完整的图像。例如在核磁共振成像领域，通常需要牺牲一部分观测数据换取扫描时间。成像时间长一直是核磁共振成像的一大弊力，对于CT影像快速成像可以降低患者的辐射量，它的意见就更加明显。

稀疏采样和压缩感知技术可以实现快速成像

快速成像为图像重建提出了新的挑战。

老照片复原技术，换脸技术都可以理解为图像重建技术。老照片复原技术中，由于当时传感器设备性能的局限性，很多保存的老照片存在分辨率低，噪声干扰强，图片失真等情况。可以通过图像重建技术进行修复和补充。

图像的分类识别
属于高级别的图像处理技术。在自动驾驶技术，医学AI诊断，遥感自动解译等领域都具有重要的研究价值。比如现有的CT影像已经可以实现机器的自动阅片，这就是通过图像分割，分类，识别技术实现的。

二、图像数字化与显示（数字图像的基本获取过程)

图像数字化的基本过程包括采样、‌量化和编码三个步骤。‌

采样：‌这一步骤涉及将二维空间上连续的图像在水平和垂直方向上等间距地分割成矩形网状结构，‌形成的微小方格称为像素点。‌例如，‌一幅640x480分辨率的图像由307200个像素点组成。‌采样频率，‌即一秒钟内采样的次数，‌反映了采样点之间的间隔大小。‌采样频率越高，‌得到的图像样本越逼真，‌图像质量越高，‌但要求的存储量也越大。‌采样点间隔大小的选取非常重要，‌它决定了采样后的图像能真实反映原图像的程度。‌

量化：‌量化是指使用多大范围的数值来表示图像采样之后的每一个点。‌量化的结果是图像能够容纳的颜色总数，‌反映了采样的质量。‌例如，‌如果使用4位存储一个点，‌图像只能有16种颜色；‌若采用16位存储一个点，‌则有2^16=65536种颜色。‌量化位数越大，‌图像可以拥有的颜色越多，‌产生的图像效果越细致，‌但也会占用更大的存储空间。‌

编码：‌在采样和量化之后，‌将像素灰度转换成离散的整数值，‌然后进行编码的过程。‌这一步骤将数字图像转换为计算机可以存储和处理的格式。‌

2.1 采样

数字信号是通过采样和量化两个过程，将模拟信号转化为数字信号，图像也是如此。
对于空间位置连续，辐射强度连续的场景，可以通过采样和量化两个步骤实现模拟信号的数字化

对于一个感兴趣的场景信号，我们采用一个光感受器阵列来记录该场景信息，这个过程就是采样，采样后场景中任意一个点都对应一个像素。采样可以将信号在空域维度上进行离散化。
对于同一个场景，既可以采用1024 * 1024 像素来记录也可以采用 256 * 256来记录，这就是由拍摄图像的设备来决定。当光感受器阵列上的采样孔径越小，采样间隔越小，采样得到的图像空间分辨率越高，场景中的细节越清晰。更高的像素即更小的采样间隔，这样我们获取的图像分辨率越高。

2.2 量化

量化是对采样的信号在幅度上进行离散化。

均匀量化可以将信号的变换区间，按照一定的间隔，映射为一个个离散的整数。通常为了满足计算机存储和计算的需要，量化后的数值取值会按照2的幂次方来选择。

可以用0-255这256个灰度级作为量化信号的强度，像素的灰度值就可以用8Bit二进制位来记录。

采样定理–奈奎斯特采样定理

对于一个信号FT，傅里叶变换后可以得到信号的频谱，频谱的宽度是最高频率的两倍；
使用一个采样脉冲序列对它进行采样，采样间隔和w_s称反比例关系。w_s是采样后信号频谱在频域上搬移的距离。

通常为了降低采样点的个数，减少存储的数据量和传输的带宽，我们需要加大采样间隔，这样采样得到信号的频谱搬移的距离w_s就会变小，当搬移的距离小于信号带宽时，我们采样得到的频谱就会发生镜像折叠，就无法重建信号。

如果对一个带宽时20HZ的信号进行采样，采样频率采样12HZ.
按照这个采样频率我们能测量的最高频率只有6HZ，而原始信号最高频率为10HZ.
10HZ的部分就会以6HZ为镜像，产生镜像折叠，就是2HZ.
采集到的信号频谱发生了折叠，最多采集到12HZ带宽的信号。

等间隔均匀采样时，需要满足奈奎斯特采样定理才能无失真的复原信号。
如果不采用等间隔采样，在压缩感知理论下，通过非均匀稀疏采样，就可以打破奈奎斯特采样定理，实现更低采样频率的采样。

如果我们的信号是在频域进行采样，那么采样频率是否要满足Niquest采样定理？

2.2.1 量化方法–标量量化

对每个采样点的信号强度进行量化

均匀量化和非均匀量化

均匀量化：将整个取值范围等间隔划分然后设置量化值代替落入区间的信号幅度

非均匀量化：根据信号幅度出现的频率来优化量化区间和量化值

不同量化间隔下均匀量化得到的成像效果

随着量化间隔的减少，图像中一些灰度差异较小的信息，就会被量化间隔淹没。量化级的减少导致图像中灰度变化平缓区域丢失。量化级越多，图像灰度变化刻画的越准确。
以上两种量化方法都是针对单个像素点的量化，称为标量量化。
如果要将多个像素点的灰度值组合起来一起量化，就是矢量量化。

2.2.2 矢量量化

矢量量化需要提前设计匹配的码字，码字是由同等数量的像素组成的向量；
每个码字分配一个编号。
量化过程就是寻找与输入向量距离最近的码字，用该码字的编号作为量化值进行传输和存储。
在解码时，根据包含所有码字的码书，通过编号索引进行解码。

下面这四个码字分别用两位二进制数进行编码，计算输入向量与各个码字的距离，发现输入向量与第三个码字最接近，因此量化后的编码是10.

相对于标量量化，矢量量化后数据量更小，且具有很强的抗干扰能力。

---

总结

等间隔均匀采样时，需要满足奈奎斯特采样定理才能无失真的复原信号。如果不采用等间隔采样，在压缩感知理论下，通过非均匀稀疏采样，就可以打破奈奎斯特采样定理，实现更低采样频率的采样。

相对于标量量化，矢量量化后数据量更小，且具有很强的抗干扰能力。