LN层和BN层
- LN
- BN
- 区别
LN
定义： LN层，即层标准化层，是另一种归一化技术，它主要关注于对神经网络中某一层的所有神经元进行归一化处理。
作用：
- 层内归一化：与BN层不同，LN层是对神经网络中某一层的所有神经元进行归一化处理，而不是针对整个批次的数据。这使得LN层在处理小批量数据或序列数据时更具优势。
- 稳定性提升：通过对层内神经元进行归一化处理，LN层有助于稳定网络的训练过程，特别是在处理长序列数据时，能够减少梯度消失或爆炸的问题。
- 适用场景广泛：LN层不仅适用于卷积神经网络（CNN），还特别适用于循环神经网络（RNN）等序列模型，因为它能够处理不同长度的序列数据。
BN
定义： BN层，即批标准化层，是一种在深度学习中广泛使用的技术，主要用于解决内部协变量偏移问题，加速网络的收敛速度，并提升训练的稳定性。
作用：
- 归一化处理：在训练过程中，BN层对每个批次的输入数据进行归一化处理，使得每个隐藏层的输入均值为0，方差为1。这样可以保证数据的分布相对稳定，有助于网络的学习。
- 减少内部协变量偏移：内部协变量偏移是指在训练过程中，由于网络参数的更新导致网络各层的输入分布不断变化，从而影响网络的收敛速度和稳定性。BN层通过归一化处理可以减少这种偏移，使网络更容易训练。
- 正则化效果：由于BN层在训练过程中使用了每个批次的数据来估计全局的统计量（均值和方差），这实际上起到了一种正则化的作用，有助于防止过拟合。
区别
- 归一化维度不同：
BN层是在批次维度上进行归一化处理，即对每个批次的数据进行均值和方差的计算。
LN层则是在层内维度上进行归一化处理，即对每个层的所有神经元进行均值和方差的计算。 - 适用场景不同：
BN层在处理大规模数据时表现优异，因为它能够利用整个批次的数据来估计全局的统计量。然而，在小批量或序列数据场景下，BN层的效果可能会受到影响。
LN层则特别适用于处理小批量数据或序列数据，因为它不依赖于整个批次的数据来估计统计量，而是对每个层内的神经元进行归一化处理。 - 对模型的影响不同：
BN层由于其正则化效果，有时会对模型的泛化能力产生积极影响。
LN层则主要关注于提升模型的稳定性，特别是在处理长序列数据时。
