pytorch 计算图与动态图机制
计算图与动态图机制
计算图
计算图是用来描述 运算 的有向无环图 计算图有两个主要元素： 结点 Node ，表示数据，如向量，矩阵，张量 和 边 Edge，表示运算 ，如加减乘除卷积等
用计算图表示： y = (x+ w) * (w+1) a = x + w b = w + 1 y = a * b
叶子结点 ：用户创建的结点称为叶子结点，如 X 与 W is_leaf: 指示 张量是否为叶子结点
梯度反向传播之后，非叶子节点的梯度会被释放
grad_fn: 记录创建该张量时所用的方法（函数) y.grad_fn =
a.grad_fn =
b.grad_fn =
import torch
w = torch.tensor([1.], requires_grad=True)//
x = torch.tensor([2.], requires_grad=True)
a = torch.add(w, x)
# a.retain_grad()//使用非叶子节点的梯度
b = torch.add(w, 1)
y = torch.mul(a, b)
y.backward()
print(w.grad)
# 查看叶子结点
# print("is_leaf:
", w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)
# 查看梯度
# print("gradient:
", w.grad, x.grad, a.grad, b.grad, y.grad)
# 查看 grad_fn
print("grad_fn:
", w.grad_fn, x.grad_fn, a.grad_fn, b.grad_fn, y.grad_fn)
动态图
类比跟团旅游和自由行
