具有扩展卷积的DCNN

目的：

进行了一系列实验来证明，在没有任何全连接层的情况下，具有扩展卷积的 DCNN 的性能并不比广泛使用的具有包含收缩（无零填充）卷积层和多个全连接层的混合结构的深度神经网络差。

DCNN：Deep convolutional neural networks

关注点：

为深度神经网络配备卷积结构的深度卷积神经网络（DCNN），对由一维卷积（使用一维卷积层Conv1D来提取特征）、单通道（模型的输入是一个一维信号，输入层的通道数为1）和ReLU活函数引起的 DCNN 感兴趣。

假设与前提：

DCNN没有采用全连接层

一维离散卷积的两种类型：

滤波器：

滤波器是一个序列，用向量 $\overrightarrow{\omega }$ 表示，其元素 $\omega _{j}$ 只在有限的范围内非零，即从 $j= 0$ 到 $j=s$ 。这意味着滤波器的长度是 $s+1$ ，因为它包括了从0到 $s$ 的所有索引。

$\vec{\omega }=(\omega _{i})_{j}^{ \infty}=-\infty$

$\omega _{j}^{k}\neq 0$ ， $0\leq j\leqslant s$

向量：

$\overrightarrow{\nu }$ 是一个包含 $D$ 个分量的列向量，每个分量都有一个特定的值 $\nu _{i}$ ，其中 $i$ 的范围是从1到 $D$ 。这个向量通常用来表示一个在整数集 $\mathbb{Z}$ 上的离散信号或数据序列，其中的每个元素对应于序列中的一个特定位置。

$\overrightarrow{\nu }=\left ( \nu _{1},\nu _{2},\nu _{3}...v_{D} \right )^{T}$

扩张卷积（也称为零填充卷积）和收缩卷积（或不进行零填充的卷积）都是滤波器 $\overrightarrow{\omega }$ 与向量 $\overrightarrow{\nu}$ 之间的操作。

扩展卷积（零填充卷积）：

扩张卷积涉及将向量 $\overrightarrow{\nu}$ 进行零填充，以便滤波器 $\overrightarrow{\omega }$ 可以应用于 $\overrightarrow{\nu}$ 的每个位置。

$(\overrightarrow{\omega }*\overrightarrow{\nu })_{j}=\sum_{\iota =1}^{D}\omega _{j-\iota }\cdot \nu _{\iota }$

$j=1,...D+s$

新向量长度： $D+s$

$D$ ： $\overrightarrow{\nu}$ 的长度

$s$ ：滤波器 $\overrightarrow{\omega }$ 的长度

$\omega _{j-\iota }$ ：滤波器 $\overrightarrow{\omega }$ 的元素

$\nu _{\iota }$ ：向量 $\overrightarrow{\nu}$ 的元素

求和是在 $\iota$ 从1到 $D$ 的范围内进行的，这意味着滤波器 $\overrightarrow{\omega }$ 被滑动到 $\overrightarrow{\nu}$ 上的每个位置，并计算加权和。

得到 $D*(D+s)$ 的矩阵 $\widetilde{W}$

计算过程：

收缩卷积（不进行零填充的卷积）：

收缩卷积不涉及零填充，因此结果向量的长度为 $D-s+1$ 。这种卷积只考虑滤波器 $\overrightarrow{\omega }$ 和向量 $\overrightarrow{\nu}$ 重叠的部分。

收缩卷积的第 $j$ 个分量由下式给出：

$(\overrightarrow{\omega }\star \overrightarrow{\nu })_{j}=\sum_{\iota =j-s}^{j}\omega _{j-\iota }\cdot \nu _{\iota }$

$j=s+1,...,D$

这里，求和是在 $\iota$ 从 $j-s$ 到 $j$ 的范围内进行的，这意味着滤波器 $\overrightarrow{\omega }$ 被滑动到 $\overrightarrow{\nu}$ 上，并且只有当滤波器的元素与 $\overrightarrow{\nu}$ 的元素重叠时才计算加权和。

得到 $D*(D-s)$ 的矩阵 $\widetilde{W}{}'$

计算过程：

模型定义：

稀疏Toeplitz：

$D*(D+s)$ 的矩阵 $\widetilde{W}$ 表示扩展卷积 $(\overrightarrow{\omega }*\overrightarrow{\nu })$

$D*(D-s)$ 的矩阵 $\widetilde{W}{}'$ 表示收缩卷积 $(\overrightarrow{\omega }\star \overrightarrow{\nu })$

ReLU激活函数：

$\sigma \left ( t \right )=max\left \{ 0,t \right \}$ 定义了ReLU（Rectified Linear Unit）激活函数，这是一种常用的非线性激活函数，用于引入非线性特性，使得DCNN能够学习复杂的函数。

DCNN的定义：

给定一组滤波器 $\left \{ \overrightarrow{w_{k}} \right \}_{k=1}^{L}$ ，一组偏置向量 $\left \{ \overrightarrow{b_{k}} \right \}_{k=1}^{L}$ ，以及一个输出向量 $\vec{a}_{L}$ ，可以通过如下方式定义：

① $\vec{h_{0}}\left ( x \right )=x$ 表示输入层，即 $\vec{h_{0}}$ 是输入数据 $x$

② $\vec{h_{k}}\left ( x \right )=\sigma \left ( \vec{w_{k}} \odot \vec{h_{k-1}(x)+\vec{b_{k}}}\right )$ 表示第k层的输出， $\odot$ 表示卷积操作（扩张卷积或收缩卷积）， $\sigma$ 是ReLU激活函数， $\vec{w}_{k}$ 是第k层的滤波器， $\vec{b}_{k}$ 是第k层的偏置向量

③ $h_{L}\left ( x \right )=\hat{a_{L}}\cdot \vec{h}_{L}\left ( x \right )$ 表示最后一层的输出，其中 $\hat{a}_{L}$ 是一个权重向量， $\vec{h}_{L}\left ( x \right )$ 是最后一层的激活输出