当前位置：首页 > news >正文

hhhhh

news 2025/8/17 4:07:05

x = torch.tensor([1.0,0.],[-1.,1.],requires_grad=True)
z = x.pow(2).sum()
z.backward()
x.grad

在这段代码中，我们利用 PyTorch 进行自动求梯度，下面详细解释代码的每一个部分及其在反向传播中的作用。同时，我们也将介绍函数对象和叶子节点的概念。

创建张量：
```
x = torch.tensor([[1.0, 0.], [-1., 1.]], requires_grad=True)
```
- 这里我们创建了一个二维张量 x，其内容是 [[1.0, 0.], [-1., 1.]]。
- 设置 requires_grad=True，意味着我们希望跟踪这个张量的操作，以便进行自动求梯度。PyTorch 记录所有对该张量的操作，以便在反向传播时能够计算出梯度。
- 此外， x 是一个叶子节点，这是指在计算图的最底层的张量，它是用户直接创建的张量或从其他张量分割而来，不是通过其他张量的操作结果产生的。
定义计算图的输出：
```
z = x.pow(2).sum()
```
- x.pow(2) 是对 x 中的每个元素进行平方运算，生成一个新的张量，这个新张量并不是用户直接创建的，而是通过操作 x 生成，因此它不是叶子节点。
- 接着，我们调用 .sum()，它会计算所有元素的和，结果保存在 z 中。至此，计算图已经构建完成，PyTorch 知道如何从 z 计算回 x。
反向传播：
```
z.backward()
```
- 这一行触发了反向传播过程，计算出 z 相对于 x 的梯度。
- PyTorch 通过链式法则自动计算每个节点的梯度，其中涉及的操作和节点形成的计算图使得这些计算变得直接。
- 具体来说，由于 ( $z = x_1^2 + x_2^2 + x_3^2 + x_4^2$ )，对每个元素分别求导可得：
  - 对于 ( $x_1 = 1.0$ )，( $\frac{\partial z}{\partial x_1} = 2 \cdot x_1 = 2 \cdot 1.0 = 2$ )
  - 对于 ( $x_2 = 0.0$ )，( $\frac{\partial z}{\partial x_2} = 2 \cdot x_2 = 2 \cdot 0.0 = 0$ \
  - 对于 ( $x_3 = -1.0$ )，( $\frac{\partial z}{\partial x_3} = 2 \cdot x_3 = 2 \cdot -1.0 = -2$ )
  - 对于 ( $x_4 = 1.0$ )，( $\frac{\partial z}{\partial x_4} = 2 \cdot x_4 = 2 \cdot 1.0 = 2$ )
查看梯度：
```
x.grad
```
- 这一行返回 x 的梯度，结果应为：tensor([[ 2., 0.], [-2., 2.]])。这对应于从反向传播过程中计算得到的梯度值。