作用：正则化，缓解过拟合

实现方式：

• 在前向传播过程中，将该层的一部分神经元的输出特征随机丢掉（设为 0），相当于随机消灭一部分神经元
• 仅在训练期间使用，测试时没有神经元被丢掉。

正则化的目的是为了让模型粗糙一点儿，不要过分追求完美。

Hinton 的这个灵感来自银行的防欺诈机制。他去银行办理业务时，发现柜员不停地换人。他就猜想，银行工作人员要想成功欺诈银行，他们之间要互相合作才行，因此一个柜员不能在同一个岗位待得过久。这让他意识到，在某些神经网络层中的各个神经元之间的参数可能也是针对训练数据集形成了某种“固定套路”，那么，随机删除一部分神经元，就有可能打破这些套路，阻止它们的“阴谋”，从而降低过拟合。

4.6. 暂退法（Dropout） — 动手学深度学习 2.0.0 documentation