pytorch 中前向传播和后向传播的自定义函数

系列文章目录

  在开始正文之前，请各位姥爷动动手指，给小店增加一点访问量吧，点击小店，同时希望我的文章对你的学习有所帮助。本文也很简单，主要讲解pytorch的前向传播张量计算，和后向传播获取梯度计算。

一、torch.autograd.function

每一个原始的自动求导运算实际上是两个对 Tensor 操作的函数

• forward 函数计算输入Tensor,一些列操作后得到输出Tensor
• backward 接收输出 Tensor ，获取某个标量的梯度，并且计算输入Tensor相对于相同标量的梯度值。
  使用 apply 执行相应的运算

代码实例

  这个实例实现了重写line的功能，在以后的深度学习和构建扔工神经网络中常常使用。对 line 类重构，两个方法 forward 和 backward 都是静态的。实现的功能就是把三个张量运算： w * x + b.代码中在 return 中体现。

• forward 传递的 ctx 用于保存上下文的管理器，调用 ctx.save_for_backward(变量名) 可以存储变量，调用ctx.saved_tensors 可以把对应的张量取出来。
• grad_output 是上一层的梯度，返回回来应该遵循链式法则。
• 导数计算：把 y 看做是因变量（编程中省略这个变量，具体体现 w * x + b）,w, x, b 都看做是自变量。使用高数中的求导公式，大家就知道乘的系数是什么了。

import torch

class line(torch.autograd.Function):
    @staticmethod
    def forward(ctx,w,x,b):# 第一个参数是管理器，对变量进行存储
        # y = w*x+b
        ctx.save_for_backward(w,x,b)
        # 定义前向运算
        return w*x+b
    @staticmethod
    def backward(ctx, grad_output):# 上下文管理器，第二个参数是上一级梯度,表达了一个链式法则
        # 我们计算梯度，需要乘上一级梯度
        w,x,b = ctx.saved_tensors
        # dy/dw = x
        grad_w = grad_output * x
        # dy/dx = w
        grad_x = grad_output * w
        # dy/db = 1
        grad_b = grad_output * 1
        return grad_w,grad_x,grad_b

w = torch.randn(2,2,requires_grad=True)
x = torch.randn(2,2,requires_grad=True)
b = torch.randn(2,2,requires_grad=True)

# 调用重写的line函数
out = line.apply(w,x,b)
out.backward(torch.ones(2,2))

print("x 的内容：",x)
print("w 的内容：",w)
print("b 的内容：",b)
print("grad_x",x.grad)
print("grad_w",w.grad)
print("grad_b",b.grad)