【PyTorch】论文级可复现性学习笔记

1. 模型对齐速查表

复现对齐步骤：

• 预处理对齐
• 模型权值对齐
• 前向对齐（target对齐）
• 反向对齐（loss对齐）
• 后处理对齐（box对齐）

2. 随机因素来源

2.1 Python版本

2.1 DataLoader[doc]

3. 固定随机种子&使用确定性算子

condaenvconfig varssetCUBLAS_WORKSPACE_CONFIG=:4096:8

random.seed(seed)np.random.seed(seed)torch.manual_seed(seed)torch.backends.cudnn.deterministic=Truetorch.use_deterministic_algorithms(True)

[cublas]

3.1 os.urandom()

对齐代码参考：

II. 张量对齐

需要对齐：

1. 形状：tensor.shape
2. 均值：tensor.abs().mean()

III. 模型权值转换

权重转换：

1. 得到MMDet模型的Pytorch权重（.pth）
2. 生成参数名对应列表
3. 根据列表将MMDet权重转换为native-torch模型权值

Paddle教程参考代码：

defload_torch_model(file_name):weights=torch.load(file_name)state_dict=weights['state dict']forkinstate_dict.keys():state_dict[k]=state_dict[k].numpy()returnstate_dict

参考资料

Paddle冠冠老师权重对齐代码：Debug_gfl/gfl_debug_tools/weight_convert.sh

III. 前向运算对齐

主要原则

• 输入张量一致
• 测试输出张量足够接近（allclose）

Note
在前向对齐的时候，可以将模型设置为eval模式，先验证target张量是否已经对齐。

IV. 反向传播对齐

对齐速查表

1. 输入数据
2. 权重参数
3. 学习策略及超参数

对齐目标

对齐目标量：中间输出值和梯度值。

对齐步骤

1. 训练几次迭代，对比paddle和torch的训练loss是否一致。若不一致，打印中间参数与梯度，输出并对比差异，定位差异点，并分析问题所在。
2. 用相同数据集，学习策略，超参数分别训练oaddle和torch模型，对比训练log与可视化效果是否一致。

可以使用模拟数据（“假数据”）进行训练，看一下loss的变化情况；

使用序列化文件对齐的方法

关于使用序列化文件进行反向传播对齐的步骤，请参考《Paddle反向梯度排查方法文档 | 反向对齐核验》

获得梯度信息：可以使用register_hook()

我们可以使用register_hook()钩子函数获得梯度信息；