深度学习02-pytorch-08-自动微分模块

​​​​​​​

其实自动微分模块，就是求相当于机器学习中的线性回归损失函数的导数。就是求梯度。

反向传播的目的： 更新参数， 所以会使用到自动微分模块。

神经网络传输的数据都是 float32 类型。 

案例1:

代码功能概述：

该代码展示了如何在 PyTorch 中使用 自动微分（Autograd） 计算损失函数相对于权重 w 和偏置 b 的梯度。这是机器学习模型训练中非常重要的步骤，因为这些梯度将用于更新模型的参数，从而最小化损失函数

import torch# 1. 当x为标量时，梯度的计算
def test01():x = torch.tensor(5)  # 输入变量x为标量5# 目标值y = torch.tensor(0.)  # 目标输出y设置为0# 设置要更新的权重 和 偏置的初始值w = torch.tensor(1., requires_grad=True, dtype=torch.float32)  # 权重w初始化为1，并启用梯度计算b = torch.tensor(3., requires_grad=True, dtype=torch.float32)  # 偏置b初始化为3，并启用梯度计算# 设置网络的输出值z = x * w + b  # 计算线性模型的输出 z = x*w + b (等同于线性回归的公式)# 设置损失函数，并进行损失的计算loss = torch.nn.MSELoss()  # 使用均方误差（MSE）作为损失函数loss1 = loss(z, y)  # 计算损失，z 是模型的预测值，y 是目标值# 自动微分，计算损失函数相对于w和b的梯度loss1.backward()  # 反向传播计算梯度# backward 函数计算的梯度值会存储在张量的grad 变量中print("w的梯度", w.grad)  # 打印出损失函数对 w 的梯度print("b的梯度", b.grad)  # 打印出损失函数对 b 的梯度test01()

w的梯度 tensor(80.)
b的梯度 tensor(16.)

代码讲解：

    1.    输入与目标值：
    •    x = torch.tensor(5)：输入为 x = 5，表示输入的特征值。
    •    y = torch.tensor(0.)：目标输出 y 设置为 0，这是我们希望模型最终预测得到的值。
    2.    参数的初始化：
    •    w = torch.tensor(1., requires_grad=True)：初始化权重 w 为 1，requires_grad=True 启用对 w 的梯度计算。
    •    b = torch.tensor(3., requires_grad=True)：初始化偏置 b 为 3，同样启用对 b 的梯度计算。
requires_grad=True 的作用是让 PyTorch 知道我们想对这些参数进行梯度计算。
    3.    模型计算：
    •    z = x * w + b：计算模型的输出，类似于线性回归的公式。z 是模型的预测输出。
    4.    损失函数：
    •    loss = torch.nn.MSELoss()：选择均方误差（MSE）作为损失函数，用于衡量预测值 z 与目标值 y 之间的误差。
    •    loss1 = loss(z, y)：计算损失值，z 是模型预测输出，y 是目标值。

MSE 的公式为：

\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (z_i - y_i)^2

在这个例子中，由于我们只使用了一个数据点，损失计算为：

\text{Loss} = (z - y)^2 = (x \cdot w + b - 0)^2

    5.    反向传播：
    •   loss1.backward()：通过调用 backward()，PyTorch 会自动计算损失函数对 w 和 b 的梯度。这个过程称为反向传播（Backpropagation）。梯度的计算基于链式法则，PyTorch 会自动追踪所有的计算操作，计算各个参数对损失的导数。


    6.    梯度输出：
    •    w.grad：存储了损失函数对 w 的梯度。
    •    b.grad：存储了损失函数对 b 的梯度。

案例2:

import torchdef test02():# 输入张量 2x5，表示 2 个样本，每个样本有 5 个特征x = torch.ones(2, 5)  # 输入数据，全部初始化为 1# 目标输出张量 2x3，表示我们希望模型预测的输出有 3 个类别y = torch.zeros(2, 3)  # 目标输出，初始化为 0# 设置可更新的权重和偏置的初始值# 权重 w 的形状是 5x3，表示输入特征为 5，输出类别为 3w = torch.randn(5, 3, requires_grad=True)  # 随机初始化权重，启用梯度计算# 偏置 b 的形状是 3，表示每个输出类别有一个偏置b = torch.randn(3, requires_grad=True)  # 随机初始化偏置，启用梯度计算# 计算网络的输出，z = x * w + b# x 的形状是 2x5，w 的形状是 5x3，矩阵乘法后的结果 z 的形状是 2x3z = torch.matmul(x, w) + b  # 矩阵乘法和偏置加法# 设置损失函数，并计算损失# 这里使用均方误差（MSE），z 是预测值，y 是目标值loss_fn = torch.nn.MSELoss()  # 损失函数为均方误差loss = loss_fn(z, y)  # 计算损失，输出一个标量值# 自动微分，计算损失函数相对于 w 和 b 的梯度loss.backward()  # 反向传播，计算梯度# 打印权重和偏置的梯度，梯度值存储在 grad 属性中print("w 的梯度:\n", w.grad)  # 打印权重 w 的梯度print("b 的梯度:\n", b.grad)  # 打印偏置 b 的梯度# 调用函数进行计算
test02()

自动微分 (Autograd) 的工作原理：

    •    PyTorch 中的 Autograd 是自动微分引擎，它会记录所有张量的计算历史，并根据这些计算图自动执行反向传播，计算参数的梯度。
    •    在向前计算过程中，PyTorch 构建了一个动态计算图（计算图是有向无环图 DAG）。当你调用 .backward()，计算图会根据链式法则从损失开始计算每个变量的梯度。
    •    计算的梯度会存储在对应张量的 .grad 属性中，然后可以使用这些梯度来更新模型的参数。

总结：

    •    w.grad 和 b.grad 的值告诉我们，若我们改变 w 或 b，损失函数会如何变化。
    •    梯度的计算对于优化模型非常重要，因为我们会使用这些梯度来更新权重和偏置，使得损失函数最小化。

PyTorch 中的 自动微分模块 是通过 autograd 实现的，这是 PyTorch 中的核心功能之一，它可以帮助用户在神经网络的训练过程中自动计算梯度。autograd 模块使得实现反向传播和梯度计算变得非常简单和高效。

核心概念

  1. Tensor: PyTorch 的张量 (Tensor) 是自动微分系统的基本单位。如果将 Tensor 的 requires_grad 属性设置为 True，则 PyTorch 会开始跟踪所有与该张量相关的操作，并在反向传播时自动计算该张量的梯度。

  2. Computational Graph (计算图): PyTorch 会构建一个动态图，记录张量的所有操作。这个图是有向无环图（DAG），图中的每个节点代表一个变量，边代表该变量上发生的操作。当你调用 .backward() 时，PyTorch 会根据计算图自动计算每个张量的梯度。

  3. 梯度 (Gradient): 如果一个张量参与了计算并且 requires_grad=True，在反向传播时可以通过 .grad 属性获取其梯度值。

  4. 反向传播: 通过 tensor.backward() 来执行反向传播计算张量的梯度，默认情况下会对标量进行求导。

使用案例

  1. 创建一个张量并启用梯度跟踪：

    import torch
​
# 创建一个张量，并启用梯度跟踪
x = torch.tensor([[2.0, 3.0]], requires_grad=True)

  2. 执行一些操作：

    y = x * 3
z = y.sum()
print(z)

  3. 反向传播：

    z.backward()  # 对 z 求导
print(x.grad)  # 查看 x 的梯度

    输出：

    tensor([[3., 3.]])

    在这个例子中，z = x * 3，z.backward() 计算了 z 对 x 的梯度，结果为 3。

PyTorch 自动微分的几个重要点：

  1. requires_grad=True: 如果需要对某个张量求导，必须将其 requires_grad 属性设置为 True，否则在反向传播时 PyTorch 不会计算该张量的梯度。

  2. grad_fn: 每个跟踪计算的张量都有一个 grad_fn 属性，代表该张量的创建方式和跟踪的操作。例如，如果你对一个张量做了加法操作，它的 grad_fn 就会显示 AddBackward0。

    print(y.grad_fn)  # <MulBackward0 object at 0x...>

  3. .backward(): backward() 方法会根据计算图反向传播，自动计算梯度。

  4. 梯度累加: 每次调用 backward() 时，梯度会被累加到 .grad 中，因此在多次反向传播之前，最好手动将 .grad 清零，使用 x.grad.zero_()。

autograd 的典型使用场景

  • 神经网络训练：通过 autograd，我们可以在每次迭代时计算损失函数的梯度，然后使用这些梯度更新网络的参数。

  • 自定义梯度计算：可以通过创建复杂的操作来自动推导梯度。

Example: 简单的线性回归

import torch
​
# 生成数据
x = torch.randn(10, 1, requires_grad=True)
y = 3 * x + 2
​
# 定义损失函数
loss = (x - y).pow(2).mean()
​
# 反向传播
loss.backward()
​
# 查看 x 的梯度
print(x.grad)

在这个例子中，loss.backward() 会自动计算 x 对 loss 的梯度。

总结

  • PyTorch 的自动微分机制通过 autograd 实现，用户只需要将张量的 requires_grad 设置为 True，在执行反向传播时，PyTorch 会自动计算张量的梯度。

  • 通过自动构建计算图，autograd 能够跟踪张量上的所有操作，动态计算梯度，极大地方便了深度学习模型的训练。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/146488.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

分页插件、代码生成器

分页插件、代码生成器

01-分页插件、代码生成器 分页插件使用 首先在pom.xml文件中导入依赖 然后再mybatis-config.xml文件中写入插件 在测试类中写入方法 在mybatis.xml文件中设置plugins标签里的属性helperDialectkeyi自动检查当前数据库用的什么,不用设置也行,默认就设置了 分页插件里面属性详解…
阅读更多...
【ranger编译报错】cloudera-manager-api-swaggerjar7.0.3 not found

【ranger编译报错】cloudera-manager-api-swaggerjar7.0.3 not found

cloudera-manager-api-swaggerjar7.0.3 not found 快捷导航 在开始解决问题之前&#xff0c;大家可以通过下面的导航快速找到相关资源啦&#xff01;&#x1f4a1;&#x1f447; 快捷导航链接地址备注相关文档-ambaribigtop自定义组件集成https://blog.csdn.net/TTBIGDATA/a…
阅读更多...
【在Linux世界中追寻伟大的One Piece】IP分片和组装的具体过程

【在Linux世界中追寻伟大的One Piece】IP分片和组装的具体过程

目录 1 -> IP分片和组装的具体过程 2 -> 分片与组装的过程 2.1 -> 分片 2.2 -> 组装 3 -> 分片与组装的示意图 3.1 -> 分片组装场景 1 -> IP分片和组装的具体过程 16位标识(id)&#xff1a;唯一的标识主机发送的报文。如果IP报文在数据链路层被分片…
阅读更多...
利士策分享，华为三折叠手机：重塑未来科技生活的里程碑

利士策分享，华为三折叠手机：重塑未来科技生活的里程碑

利士策分享&#xff0c;华为三折叠手机&#xff1a;重塑未来科技生活的里程碑 在这个日新月异的科技时代&#xff0c;华为再次以惊人的创新力&#xff0c;引领我们迈向智能设备的全新纪元——华为三折叠手机&#xff0c; 不仅是技术的飞跃&#xff0c;更是对未来生活方式的一次…
阅读更多...
【保奖思路】2024年华为杯研赛B题完整代码建模过程（后续会更新）

【保奖思路】2024年华为杯研赛B题完整代码建模过程（后续会更新）

您的点赞收藏是我继续更新的最大动力&#xff01; 一定要点击如下的卡片&#xff0c;那是获取资料的入口&#xff01; 点击链接加入【2024华为杯研赛资料汇总】&#xff1a;https://qm.qq.com/q/XzdIsvbiM0https://qm.qq.com/q/XzdIsvbiM0请根据附件WLAN网络实测训练集中所提供…
阅读更多...
代理IP对于网络爬虫业务的重要性

代理IP对于网络爬虫业务的重要性

在现代互联网业务中&#xff0c;网络爬虫已成为企业获取大量数据的重要工具。在这一过程中&#xff0c;代理IP发挥着至关重要的作用&#xff0c;特别是对于高频率的数据抓取任务&#xff0c;代理IP能够有效提升爬虫的成功率和安全性。 1. 绕过IP封禁 网站为了防止过度的爬虫行…
阅读更多...
TC-RAG: 图灵完备的检索增强

TC-RAG: 图灵完备的检索增强

1. 背景 大型语言模型在众多关键领域均已取得显著进展&#xff0c;并在各种下游任务中展现出卓越性能。 在医疗领域&#xff0c;这些模型尤显潜力&#xff0c;特别是在对责任感和可靠性要求极高的健康护理领域。这些模型通过全面的医学知识预训练&#xff0c;不仅能支持医生做…
阅读更多...
Python语法（二）——函数

Python语法（二）——函数

文章目录 函数语法格式函数参数链式调用嵌套调用函数递归变量作用域 函数 一段可以被重复使用的代码片段 求数列的和, 不使用函数 # 1.求1-100的和 sum 0 for i in range(1, 101):sum i print(fsum {sum})# 2.求300-400的和 sum 0 for i in range(300, 401):sum i print(…
阅读更多...
NASA：ATLAS/ICESat-2 L3A 陆地和植被高度速览，第 6 版

NASA：ATLAS/ICESat-2 L3A 陆地和植被高度速览，第 6 版

目录 简介 参数 代码 引用 网址推荐 0代码在线构建地图应用 机器学习 ATLAS/ICESat-2 L3A 陆地和植被高度速览&#xff0c;第 6 版 ATLAS/ICESat-2 L3A Land and Vegetation Height Quick Look V006 简介 ATL08QL 是 ATL08 的快速查看版本。 一旦 ATL08 的最终文件可…
阅读更多...
MongoDB在Linux系统中的安装与配置指南

MongoDB在Linux系统中的安装与配置指南

在这篇文章中&#xff0c;我们将介绍如何在CentOS 7服务器上安装MongoDB&#xff0c;并通过DataX将数据从MongoDB迁移到MySQL数据库。这将包括MongoDB的安装、配置、数据准备以及使用DataX进行数据迁移的详细步骤。 MongoDB简介 MongoDB是一个高性能、开源、无模式的文档型数据…
阅读更多...
[Java并发编程] synchronized（含与ReentrantLock的区别）

[Java并发编程] synchronized（含与ReentrantLock的区别）

文章目录 1. synchronized与ReentrantLock的区别2. synchronized的作用3. synchronized的使用3.1 修饰实例方法&#xff0c;作用于当前实例&#xff0c;进入同步代码前需要先获取实例的锁3.2 修饰静态方法&#xff0c;作用于类的Class对象&#xff0c;进入修饰的静态方法前需要…
阅读更多...
数据结构：二叉树（2）

数据结构：二叉树（2）

ps&#xff1a;爆更第二期 前言 普通的树的实用价值比较小&#xff0c;将树更一步特殊化成二叉树&#xff0c;将获得更多的特殊性质。 例如搜索二叉树&#xff0c;红黑树等。 这篇博文主要介绍二叉树的基础知识&#xff0c;进阶版高级二叉树&#xff0c;后续会持续更新。 二叉…
阅读更多...
RK3568平台（基础篇）万用表的使用

RK3568平台（基础篇）万用表的使用

一.万用表的通断判断 万用表两个笔头的插法：黑笔头是插在COM的孔里面，红色笔头可以插在其他的三个孔里面，20A和mA分别用来测电流，另外一个孔可以用来测其他（电压 电阻）。 以下这个三角符号（像wifi一样的）可以用来测通断： 使用万用表的红笔和黑笔进行短接，这时候两端…
阅读更多...
PAT (Advanced Level) Practice——1020Tree Traversals

PAT (Advanced Level) Practice——1020Tree Traversals

链接&#xff1a; 1020 Tree Traversals - PAT (Advanced Level) Practice (pintia.cn) 题目大意&#xff1a; 首先给出一个整数n&#xff0c;表示序列一共有多少个数。接下来给出一棵树的后序遍历和中序遍历&#xff0c;根据后序遍历和中序遍历给出层序遍历。 题解&#x…
阅读更多...
【技术调研】三维（7）-Unity基础笔记

【技术调研】三维（7）-Unity基础笔记

安装 ​ 最好使用长期维护版本。 创建项目 ​ 略 窗口布局 Hierarchy：层级面板，展示当前打开的场景里面有哪些物体。 Scene：场景面板，显示当前场景的样子 Game：游戏面板，场景运行的时候的样子 Inspector：检视面板（或属性面板），查看一个游戏物体由哪些组件组成。 …
阅读更多...
德勤校招网申笔试综合能力测试SHL题库与面试真题攻略

德勤校招网申笔试综合能力测试SHL题库与面试真题攻略

德勤的综合能力测试&#xff08;General Ability&#xff09;是其校园招聘在线测评的关键环节&#xff0c;旨在评估应聘者的多项认知能力。以下是对这部分内容的全面整合&#xff1a; 综合能力测试&#xff08;General Ability&#xff09; 测试时长为46分钟&#xff0c;包含…
阅读更多...
9.3Otsu阈值分割

9.3Otsu阈值分割

基本概念 在OpenCV中&#xff0c;Otsu阈值分割是一种全局阈值分割方法&#xff0c;但它会自动选择一个最佳的阈值来分割图像&#xff0c;这个阈值是通过最小化类内方差或等价地最大化类间方差来确定的。OpenCV提供了cv::threshold函数来实现这一功能&#xff0c;其中可以指定c…
阅读更多...
线段树-认识线段树+实现线段树

线段树-认识线段树+实现线段树

一、认识线段树 1、定义 线段树是平衡二叉树 2、特点 线段树将一个区间划分成单元区间&#xff0c;每个单元区间对应线段树中的一个结点 3、应用 频繁查找一个数组中指定区间内的和、最值 学了动态规划后使用迭代要好过使用递归&#xff0c;因为递归每次进去是有空间损耗…
阅读更多...
如何在qtcreator debugger上运行gdb命令

如何在qtcreator debugger上运行gdb命令

How to run gdb commands from qtcreator debugger? | Qt Forum gdb 调试基础操作和在qtcreator中使用gdb调试_qt gdb-CSDN博客 输出变量名&#xff1a; p变量名 ------------ gdb调试技巧&#xff08;二&#xff09;———— gdb 条件断点_gdb设置带函数入参判断的条件断点…
阅读更多...
UE Asset Batch Duplication插件

UE Asset Batch Duplication插件

目录 准备工作 "Scripting library" 三个最重要的功能&#xff08;前两个是UEditorUtilityLibrary中的&#xff09; 自动创建声明&#xff1a; TArray T 的含义 F 的含义 Live Coding &#xff08;Ctrlalt F11&#xff09; Live Coding 的工作流程&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023