本文重点
前面我们学习了普通的全连接神经网络,后面我们学习了带有激活层的全连接神经网络,本文我们继续进一步升级,我们学习带有批归一化的全连接神经网络,批归一化可以加快神经网络的训练速度,减少过拟合,具体它的原理,大家可以看我们的《每天五分钟深度学习》专栏,这里就不再详细的介绍了,下面先看一下是如何搭建模型的。
模型搭建
带有批标准层和激活函数的三层全连接神经网络
class BatchNet(nn.Module):
def __init__(self, in_dim,n_hidden_1, n_hidden_2, out_dim) :
super(BatchNet,self).__init__()
self.layer1 = nn.Sequential(nn.Linear(in_dim,n_hidden_1),nn.BatchNorm1d(n_hidden_1),nn.ReLU(True)) self.layer2=nn.Sequential(nn.Linear(n_hidden_1,n_hidden_2), nn.BatchNorm1d(n_hidden_2),nn.ReL