W在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。损失函数计算神经网络产生的预期输出和实际输出之间的差异。
        目标是获得尽可能接近零的损失函数的结果。反向传播算法通过神经网络向后遍历，以调整权重和偏差以重新训练模型。这种随着时间的推移重新训练模型的来回和前进过程将损失减少到 0，称为梯度下降。

        为了计算这些梯度，PyTorch有一个名为torch.autograd的内置微分引擎。它支持任何计算图的梯度自动计算。

%matplotlib inline
import torchx = torch.ones(5)   # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

二、张量、函数和计算图

        这段代码定义了以下计算图：
        在这个网络中，w和b是我们需要优化的参数。因此，我们需要能够计算损失函数相对于这些变量的梯度。为了做到这一点，我们设置了这些张量的requires_grad属性。

        我们应用于张量来构造计算图的函数实际上是一个对象类函数。此对象知道如何在向前方向上计算函数，以及如何在向后传播步骤中计算其导数。对向后传播函数的引用存储在张量的 grad_fn 属性中。

print('Gradient function for z =',z.grad_fn)
print('Gradient function for loss =', loss.grad_fn)

Gradient function for z = <AddBackward0 object at 0x00000280CC630CA0>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward object at 0x00000280CC630310>

三、计算梯度

        为了优化神经网络中参数的权重，我们需要计算损失函数相对于参数的导数，即我们需要在x和y的固定值下∂w/∂loss和∂loss/∂b。为了计算这些导数，我们调用 loss.backward（），然后从 w.grad 和 b.grad 中检索值。

loss.backward()
print(w.grad)
print(b.grad)

tensor([[0.2739, 0.0490, 0.3279],[0.2739, 0.0490, 0.3279],[0.2739, 0.0490, 0.3279],[0.2739, 0.0490, 0.3279],[0.2739, 0.0490, 0.3279]])
tensor([0.2739, 0.0490, 0.3279]) 

四、禁用渐变跟踪

        默认情况下，所有 requires_grad=True 的张量都在跟踪它们的计算历史并支持梯度计算。但是，在某些情况下，我们不需要这样做，例如，当我们训练了模型并只想将其应用于某些输入数据时，即我们只想通过网络进行前向计算。我们可以通过在计算代码周围用 torch.no_grad（） 块来停止跟踪计算。

z = torch.matmul(x, w)+b
print(z.requires_grad)with torch.no_grad():z = torch.matmul(x, w)+b
print(z.requires_grad)

True
False

        您可能想要禁用梯度跟踪的原因如下：
- 将神经网络中的某些参数标记为冻结参数。这是微调预训练网络的一种非常常见的方案。
- 在只执行正向传递时加快计算速度，因为对不跟踪梯度的张量的计算会更有效。