反向传播的计算顺序

反向传播的前提条件是：假如前向传播的时候变量B、C、D直接依赖于变量A，而变量A又直接依赖于A’，那么反向传播计算变量A’的梯度的时候，必须先计算得到B、C、D的梯度，从而得到正确的变量A的梯度，然后再计算变量A’的梯度。

以上图为例，假如t1、t2、t3、t4、t5都是中间变量，Fa、Fb、Fc、Fd、Fh都是计算函数，那么在计算t1的偏导的时候，必须先计算完t2的偏导，而t2的偏导又依赖于t3、t4、t5的偏导，所以在反向传播的时候，计算顺序必须是Fh->Fc->Fd->Fb->Fa。假如计算顺序是Fh->Fb->Fa，那么由于t2的偏导没有依赖t3、t5的偏导，因此计算出来的的t1的偏导也是错误的。

计算图和拓扑排序：计算图的本质是依赖关系，节点的入度代表其依赖的变量数，入度为0则代表该函数的输入变量已经被计算完毕。因此如果按照反向传播计算图的拓扑排序顺序来进行反向传播的话，计算每个backward函数的时候，其输入依赖项都已经被计算完毕（毕竟拓扑排序的定义就是：如果A指向B，那么A必然在B前面，因此开始计算某个函数F的时候，指向F的函数必然已经被计算），因此计算Fb的梯度必然在Fa的梯度计算之前被计算完毕，从而保证了计算的准确性。

而前向计算图的箭头反转就是反向传播的计算图，因此反向传播的顺序是前向传播计算图拓扑排序的逆序。另外一方面，所有需要计算梯度的变量都肯定和前向计算图中的箭头一一对应，而每个箭头又一定和某个计算节点对应，而拓扑排序包含了全体计算节点，因此通过拓扑排序的逆序来反向传播，必然能计算全部变量的梯度。