深入解析：Pytorch框架笔记

微积分

对于一个多元函数，我们将其输入简化为一个一个向量。

说明:
对于所有$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，都有${\nabla }_{\mathbf{x}}\mathbf{Ax}={\mathbf{A}}^{\top }$
$\mathbf{Ax}$是一个向量，而对于向量的求导是一个矩阵（因为这里向量的每个维度上都是一个多元函数），经过简单计算可以知道正好为${\mathbf{A}}^{\top }$.

对于所有$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，都有${\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{Ax}=(\mathbf{A}+{\mathbf{A}}^{\top })\mathbf{x}$

${\nabla }_{\mathbf{x}}\Vert \mathbf{x}{\Vert }^2={\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{x}=2\mathbf{x}$
在上面这个公式中将$\mathbf{E}$带入$\mathbf{A}$，即可得到这个这个式子。

自动微分

为张量建立梯度

由上面数学推导可知，标量函数对一个向量求导的结果就是它的梯度。梯度的形状和这个用来求导的向量的形状是一样的。
深度学习框架为了存贮自动微分的结果，会为用于求导的张量（一维的话是向量）开辟一个同样的大小的内存空间

from mxnet import autograd, np, npx
npx.set_np()
x = np.arange(4.0)
# 通过调用attach_grad来为一个张量的梯度分配内存
x.attach_grad()
# 在计算关于x的梯度后，将能够通过'grad'属性访问它，它的值被初始化为0
x.grad

上述代码就是为张量分配了一个梯度。

为被求导函数建立计算图

现在的深度学习框架一般使用反向传播的方法计算梯度。而使用到的工具就是计算图。
框架会为被求导的函数构造一个计算图。

# 把代码放到autograd.record内，以建立计算图
with autograd.record():
y = 2 * np.dot(x, x)
y

计算图的作用如下：

当需要求梯度时，程序就从后往前遍历计算图：

图的结点时操作，边是数据。程序会根据操作类型进行求导。
比如上图中遇到的第一个操作是乘法，就会保留c和d的因子。然后继续跟着图的反向传播继续链式求导。
最终会将结果保存在梯度当中。

非标量函数求梯度

比如向量函数，矩阵函数。
向量函数：

计算分离

对于被求导的函数，可以将其部分作为一个整体冻结，求导的时候只作为一个常数。

Python控制流的梯度计算

在框架中，不仅能对数学上的函数做自动微分，还能对变成中的函数（python控制流如条件和循环）做自动微分。

这里构造了一个分段线性的函数，这不是个连续的函数，其每一段都是y = kx,但不同的区间中k不一样。
由此可以像最后这样表达来验证求导是不是有效的。

框架查询

查函数和类

import torch
print(dir(torch.distributions))

函数和类的用法

help(torch.ones)