PyTorch实战（35）——使用PyTorch Profiler分析模型推理性能

0. 前言

我们已经介绍了PyTorch深度学习原型库 fastai 和 PyTorch Lightning，虽然这些库能极大提升开发效率，但其抽象化设计会隐藏底层实现细节。当涉及定制化研究流程时(例如需要实现原型库未内置的自定义损失函数)，仍需调整底层代码。在本节中，我们将通过剖析PyTorch模型推理代码，实时监控硬件资源(包括CPU/GPU算力及内存)的消耗情况。

1. 使用 PyTorch Profiler 分析模型推理性能

代码性能分析是指通过评估程序的时间复杂度和空间复杂度(内存占用)，统计代码中各子模块或函数的执行时间和内存消耗情况。当运行PyTorch深度学习模型推理时，系统会通过一系列函数调用从输入 (X) 生成输出 (y)。本节将介绍如何运用PyTorch Profiler工具进行模型推理分析。我们将分析两个场景下的MNIST手写数字识别模型：