当前位置：首页 > news >正文

第5章误差反向传播法

news 2026/3/27 1:01:14

5.4 简单层的实现

5.4.1、乘法层的实现

class MulLayer:def __init__(self):self.x = None  #None是特殊类型，它用来表示“空”或“无值”。self.y = None #这里对x,y声明，backward和forward都可以使用def forward(self, x, y):self.x = xself.y = yout = x * yreturn outdef backward(self, dout):dx = dout * self.y # 翻转x和y 这里dx其实是dL/dx, dout是dL/doutdy = dout * self.xreturn dx, dy

init()中会初始化实例变量x和y，它们用于保存正向传播时的输入值。
forward()接收x和y两个参数，将它们相乘后输出。
backward()将从上游传来的导数（dout）乘以正向传播的翻转值，然后传给下游。

5.4.2、加法层的实现

class AddLayer:def __init__(self):passdef forward(self, x, y):out = x + yreturn outdef backward(self, dout):dx = dout * 1dy = dout * 1return dx, dy

加法层不需要特意进行初始化，所以__init__()中什么也不运行（pass语句表示“什么也不运行”）。
加法层的forward()接收x和y两个参数，将它们相加后输出。
backward()将上游传来的导数（dout）原封不动地传递给下游。

为什么这里不需要初始化呢？因为没有数据需要在forward和backward之间传递，简而言之，就是$ \frac{\partial out}{\partial x}$ =1了，是个常量

5.5 激活函数层的实现

5.5.1 ReLu

ReLu

导数

class Relu:def __init__(self):self.mask = None  def forward(self, x):  #如果 x [5,-5,0,1,-1]self.mask = (x <= 0)  #[False, True, True, False, True] out = x.copy()  #[5, -5, 0, 1, -1]out[self.mask] = 0 #[5, 0, 0, 1, 0] return outdef backward(self, dout):dout[self.mask] = 0 #根据self.mask来决定，简言之，就是x<=0处,对应值赋值为0 ，[ , 0,0 , , 0]dx = dout return dx

5.5.2 Sigmoid

sigmoid正向传播

sigmoid反向传播计算

sigmoid反向传播简化表达

class Sigmoid:def __init__(self):self.out = Nonedef forward(self, x):out = 1 / (1 + np.exp(-x))self.out = outreturn outdef backward(self, dout):dx = dout * (1.0 - self.out) * self.outreturn dx