学习XOR
同或操作:相同为1,不同为0。
先进入蓝色和黄色分类器,最后进入灰色分类器来得到最终的结果。
单隐藏层
输入为x1~x4,加入隐藏层后,x1~x4需要先进入h1~h5,该隐藏层再作为输入,连接下一层。
输入和输出的个数都是由数据决定的,但是隐藏层的大小可以自己设置。
单隐藏层 - 单分类
❀ n是输入层的个数。m是隐藏层的神经元个数。
❀ 隐藏层的输入是m*n,输出是m*1;由于这是一个单分类,输出层的输入是m,输出是1 。
❀ 是一个长为m的向量,作为输入进入到输出层。
❀ 函数一定要是非线性函数,如果是线性函数,那么输出也是线 性的,等价于单层感知机。
❀ 最终的输出为标量。
Sigmoid 激活函数
Tanh激活函数
ReLU激活函数
单隐藏层 - 多类分类
如果没有添加的隐藏层,就只是一个softmax。
添加隐藏层(一层带非线性化的全连接层)后才是多层感知机。
输出k个单元,因此输出层的W2是m*k的矩阵,b为长为k的向量。
与单分类问题的另一个区别就是,要对输出做softmax。
多隐藏层
前一个隐藏层的输出,会作为下一个隐藏层的输入。
隐藏层要用激活函数(激活函数避免层数塌陷),输出层不需要。