深度学习中的正则化简介

正则化（Regularization）是深度学习中用于‌防止模型过拟合‌、提升泛化能力的关键技术。其核心思想是‌在模型训练过程中引入额外约束‌，限制模型复杂度，避免模型过度拟合训练数据中的噪声或细节。

‌一、为什么需要正则化？‌

1. ‌过拟合问题‌

   • 当模型过于复杂（如参数量过多）时，可能在训练数据上表现很好（低训练误差），但在测试数据上表现较差（高测试误差）。
   • ‌示例‌：一个深度神经网络在训练集上准确率达99%，但在测试集上仅70%，说明模型记住了训练数据的噪声而非通用模式。

2. ‌模型复杂度与泛化能力的平衡‌

   • 正则化通过约束模型复杂度，使其学习到更具代表性的特征，从而提升对新数据的适应能力。

‌二、常见的正则化方法‌

‌1. L1和L2正则化（权重衰减）‌

• ‌原理‌：在损失函数中加入权重的惩罚项，限制权重的大小。
  • ‌L1正则化‌：λ∑∣w∣（Lasso回归），倾向于产生稀疏权重（部分权重为0）。
  • ‌L2正则化