在神经网络的世界里神经元模型和激活函数就像是构建高楼大厦的基石它们是理解和实现神经网络的基础。在这一小节中我们将详细探讨神经元模型和激活函数的原理并且通过Python代码来实现简单的计算。掌握这些内容你不仅能理解它们的工作原理还能解决激活函数选择不当导致的梯度消失或梯度爆炸问题。目录神经元模型神经元模型的原理Python代码实现简单神经元模型激活函数激活函数的作用常见激活函数的原理和特点Python代码实现激活函数的计算总结神经元模型神经元模型的原理神经元模型是神经网络的基本组成单元它模仿了生物神经元的工作方式。在生物神经系统中神经元接收来自其他神经元的信号经过处理后再将信号传递给其他神经元。在人工神经网络中神经元接收输入信号对这些信号进行加权求和然后通过一个激活函数处理得到输出。简单来说一个神经元接收多个输入x 1 , x 2 , . . . , x n x_1, x_2, ..., x_nx1,x2,...,xn每个输入都有对应的权重w 1 , w 2 , . . . , w n w_1, w_2, ..., w_nw1,w2,...,wn神经元将输入和权重相乘后求和再加上一个偏置b bb得到一个总和z zz即z w 1 x 1 w 2 x 2 . . . w n x n b z w_1x_1 w_2x_2 ... w_nx_n bzw1x1w2x2...wnxnb。这个总和z zz再经过激活函数处理就得到了神经元的输出y yy。Python代码实现简单神经元模型下面是一个简单的Python代码示例实现了一个神经元模型的计算importnumpyasnp# 定义输入inputsnp.array([1,2,3])# 定义权重weightsnp.array([0.1,0.2,0.3])# 定义偏置bias0.5# 计算加权求和znp.dot(inputs,weights)biasprint(神经元的加权求和结果,z)在这个代码中我们使用了NumPy库来进行向量运算。np.dot(inputs, weights)计算了输入和权重的点积即加权求和的部分然后加上偏置b bb得到最终的总和z zz。激活函数激活函数的作用激活函数的作用是给神经元引入非线性因素使得神经网络能够学习到更复杂的模式。如果没有激活函数无论神经网络有多少层它都只能表示线性函数无法处理复杂的非线性问题。常见的激活函数有Sigmoid函数、ReLU函数、Tanh函数等。下面我们分别介绍这些激活函数的原理和特点。常见激活函数的原理和特点Sigmoid函数Sigmoid函数的公式为f ( x ) 1 1 e − x f(x) \frac{1}{1 e^{-x}}f(x)1e−x1它的输出范围是( 0 , 1 ) (0, 1)(0,1)。Sigmoid函数可以将输入映射到一个概率值常用于二分类问题。但是Sigmoid函数存在梯度消失的问题当输入值非常大或非常小时函数的导数趋近于0导致在反向传播过程中梯度变得非常小使得网络难以学习。ReLU函数ReLU函数的公式为f ( x ) m a x ( 0 , x ) f(x) max(0, x)f(x)max(0,x)它的输出范围是[ 0 , ∞ ) [0, \infty)[0,∞)。ReLU函数计算简单能够有效缓解梯度消失的问题并且在很多实际应用中表现良好。但是ReLU函数存在神经元死亡的问题当输入值小于0时神经元的输出为0并且在反向传播过程中梯度也为0导致该神经元无法更新权重。Tanh函数Tanh函数的公式为f ( x ) e x − e − x e x e − x f(x) \frac{e^x - e^{-x}}{e^x e^{-x}}f(x)exe−xex−e−x它的输出范围是( − 1 , 1 ) (-1, 1)(−1,1)。Tanh函数的形状类似于Sigmoid函数但是它的输出关于原点对称在某些情况下能够比Sigmoid函数表现更好。不过Tanh函数同样存在梯度消失的问题。Python代码实现激活函数的计算下面是一个Python代码示例实现了Sigmoid函数和ReLU函数的计算importnumpyasnp# 定义Sigmoid函数defsigmoid(x):return1/(1np.exp(-x))# 定义ReLU函数defrelu(x):returnnp.maximum(0,x)# 定义输入xnp.array([-1,0,1])# 计算Sigmoid函数的输出sigmoid_outputsigmoid(x)print(Sigmoid函数的输出,sigmoid_output)# 计算ReLU函数的输出relu_outputrelu(x)print(ReLU函数的输出,relu_output)在这个代码中我们定义了Sigmoid函数和ReLU函数然后对输入x xx进行计算得到它们的输出。总结通过本小节的学习我们了解了神经元模型和激活函数的原理并且通过Python代码实现了简单的计算。神经元模型是神经网络的基本组成单元它通过加权求和和激活函数处理输入信号得到输出。激活函数的作用是引入非线性因素使得神经网络能够学习到更复杂的模式。不同的激活函数有不同的特点和适用场景我们需要根据具体的问题选择合适的激活函数以避免梯度消失或梯度爆炸的问题。掌握了神经元模型和激活函数的内容后下一节我们将深入学习神经网络的结构和训练算法进一步完善对本章神经网络基础主题的认知。 
长河君 · 2026/10/23 6:00:11 · 阅读 1.2k 神经网络入门：神经元模型与激活函数详解（附Python代码）
在神经网络的世界里神经元模型和激活函数就像是构建高楼大厦的基石它们是理解和实现神经网络的基础。在这一小节中我们将详细探讨神经元模型和激活函数的原理并且通过Python代码来实现简单的计算。掌握这些内容你不仅能理解它们的工作原理还能解决激活函数选择不当导致的梯度消失或梯度爆炸问题。目录神经元模型神经元模型的原理Python代码实现简单神经元模型激活函数激活函数的作用常见激活函数的原理和特点Python代码实现激活函数的计算总结神经元模型神经元模型的原理神经元模型是神经网络的基本组成单元它模仿了生物神经元的工作方式。在生物神经系统中神经元接收来自其他神经元的信号经过处理后再将信号传递给其他神经元。在人工神经网络中神经元接收输入信号对这些信号进行加权求和然后通过一个激活函数处理得到输出。简单来说一个神经元接收多个输入x 1 , x 2 , . . . , x n x_1, x_2, ..., x_nx1,x2,...,xn每个输入都有对应的权重w 1 , w 2 , . . . , w n w_1, w_2, ..., w_nw1,w2,...,wn神经元将输入和权重相乘后求和再加上一个偏置b bb得到一个总和z zz即z w 1 x 1 w 2 x 2 . . . w n x n b z w_1x_1 w_2x_2 ... w_nx_n bzw1x1w2x2...wnxnb。这个总和z zz再经过激活函数处理就得到了神经元的输出y yy。Python代码实现简单神经元模型下面是一个简单的Python代码示例实现了一个神经元模型的计算importnumpyasnp# 定义输入inputsnp.array([1,2,3])# 定义权重weightsnp.array([0.1,0.2,0.3])# 定义偏置bias0.5# 计算加权求和znp.dot(inputs,weights)biasprint(神经元的加权求和结果,z)在这个代码中我们使用了NumPy库来进行向量运算。np.dot(inputs, weights)计算了输入和权重的点积即加权求和的部分然后加上偏置b bb得到最终的总和z zz。激活函数激活函数的作用激活函数的作用是给神经元引入非线性因素使得神经网络能够学习到更复杂的模式。如果没有激活函数无论神经网络有多少层它都只能表示线性函数无法处理复杂的非线性问题。常见的激活函数有Sigmoid函数、ReLU函数、Tanh函数等。下面我们分别介绍这些激活函数的原理和特点。常见激活函数的原理和特点Sigmoid函数Sigmoid函数的公式为f ( x ) 1 1 e − x f(x) \frac{1}{1 e^{-x}}f(x)1e−x1它的输出范围是( 0 , 1 ) (0, 1)(0,1)。Sigmoid函数可以将输入映射到一个概率值常用于二分类问题。但是Sigmoid函数存在梯度消失的问题当输入值非常大或非常小时函数的导数趋近于0导致在反向传播过程中梯度变得非常小使得网络难以学习。ReLU函数ReLU函数的公式为f ( x ) m a x ( 0 , x ) f(x) max(0, x)f(x)max(0,x)它的输出范围是[ 0 , ∞ ) [0, \infty)[0,∞)。ReLU函数计算简单能够有效缓解梯度消失的问题并且在很多实际应用中表现良好。但是ReLU函数存在神经元死亡的问题当输入值小于0时神经元的输出为0并且在反向传播过程中梯度也为0导致该神经元无法更新权重。Tanh函数Tanh函数的公式为f ( x ) e x − e − x e x e − x f(x) \frac{e^x - e^{-x}}{e^x e^{-x}}f(x)exe−xex−e−x它的输出范围是( − 1 , 1 ) (-1, 1)(−1,1)。Tanh函数的形状类似于Sigmoid函数但是它的输出关于原点对称在某些情况下能够比Sigmoid函数表现更好。不过Tanh函数同样存在梯度消失的问题。Python代码实现激活函数的计算下面是一个Python代码示例实现了Sigmoid函数和ReLU函数的计算importnumpyasnp# 定义Sigmoid函数defsigmoid(x):return1/(1np.exp(-x))# 定义ReLU函数defrelu(x):returnnp.maximum(0,x)# 定义输入xnp.array([-1,0,1])# 计算Sigmoid函数的输出sigmoid_outputsigmoid(x)print(Sigmoid函数的输出,sigmoid_output)# 计算ReLU函数的输出relu_outputrelu(x)print(ReLU函数的输出,relu_output)在这个代码中我们定义了Sigmoid函数和ReLU函数然后对输入x xx进行计算得到它们的输出。总结通过本小节的学习我们了解了神经元模型和激活函数的原理并且通过Python代码实现了简单的计算。神经元模型是神经网络的基本组成单元它通过加权求和和激活函数处理输入信号得到输出。激活函数的作用是引入非线性因素使得神经网络能够学习到更复杂的模式。不同的激活函数有不同的特点和适用场景我们需要根据具体的问题选择合适的激活函数以避免梯度消失或梯度爆炸的问题。掌握了神经元模型和激活函数的内容后下一节我们将深入学习神经网络的结构和训练算法进一步完善对本章神经网络基础主题的认知。