oam-tools AI运行时性能数据采集

采集AI任务运行性能数据

【免费下载链接】oam-tools本项目为开发者提供故障定位工具，包含故障信息收集，软硬件信息展示，AI core error报错分析等能力，提升故障问题定位效率，文档可在昇腾社区搜索“故障处理简介”（选择社区版）。项目地址: https://gitcode.com/cann/oam-tools

功能说明

msprof支持采集AI任务运行时相关的性能数据，并且在采集后可以自动进行性能数据解析和文件落盘。

命令格式

登录运行环境，可在任意目录下执行以下命令。

msprof [options] <app>

app为必选，相关参数说明请参见app参数说明，options参数说明请参见参数说明。

参数说明

ascendcl

--ascendcl=<ascendcl-value>：可选，控制acl接口性能数据采集的开关，可选on或off，默认为on。可采集acl接口性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。

model-execution

--model-execution=<model-execution-value>：可选，控制ge model execution性能数据采集开关，可选on或off，默认为off。此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。

runtime-api

--runtime-api=<runtime-api-value>：可选，控制runtime API性能数据采集开关，可选on或off，默认为off。可采集runtime API性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。

hccl

--hccl=<hccl-value>：可选，控制通信数据采集开关，可选on或off，默认为off。该数据只在多卡、多节点或集群场景下生成。此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。

task-time

--task-time=<task-time-value>：可选，控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值：

• l0：采集算子下发耗时、算子执行耗时数据。与l1相比，由于不采集算子基本信息数据，采集时性能开销较小，可更精准统计相关耗时数据。
• l1：采集算子下发耗时、算子执行耗时数据、算子基本信息数据，提供更全面的性能分析数据。该参数支持采集集合通信算子数据。
• l2：采集算子下发耗时、算子执行耗时数据、算子基本信息数据（包括attr信息），提供更全面的性能分析数据。该参数支持采集集合通信算子数据。
• l3：采集PyPTO算子性能数据。该特性为试用特性，后续版本可能会存在变更，不支持应用于商用产品中。
• on：开启，默认值，和配置为l1的效果一样。
• off：关闭。

aicpu

--aicpu=<aicpu-value>：可选，采集AICPU算子的详细信息，如：计算耗时、数据拷贝耗时等。可选on或off，默认值为off。

ai-core

--ai-core=<aicore-value>：可选，AI Core数据采集开关。取值可选on或off，--task-time配置为on、l1时，默认为on；--task-time配置为off、l0时，默认为off。

aic-mode

--aic-mode=<aic-mode-value>：可选，AI Core硬件的采集类型，可选值task-based或sample-based。该参数配置前提是--ai-core参数设置为on。task-based是以task为粒度进行性能数据采集，sample-based是以固定的时间周期进行性能数据采集。

采集AI任务性能数据时建议使用task-based，如果不配置默认为task-based。

aic-freq

--aic-freq=<aic-freq-value>：可选，sample-based场景下的采样频率，默认值100，范围1~100，单位Hz。该参数配置前提是--ai-core参数设置为on。

aic-metrics

aic-metrics=<aic-metrics-value>：可选，AI Core性能指标采集项。该参数配置前提是--ai-core参数设置为on。取值包括：

• ArithmeticUtilization：计算类指令耗时占比

• PipeUtilization：计算类和搬运类指令耗时和占比。

• Memory：内存读写带宽速率

• MemoryL0：L0读写带宽速率

• MemoryUB：UB读写带宽速率

• ResourceConflictRatio：资源冲突占比

• L2Cache：L2 Cache命中率

  • Atlas 推理系列产品：不支持

• PipelineExecuteUtilization：计算类和搬运类指令耗时和占比

  • Atlas 推理系列产品：不支持
  • Atlas 训练系列产品：不支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持
  • Ascend 950PR/Ascend 950DT：不支持

• MemoryAccess：

  • Atlas 200I/500 A2 推理产品：不支持
  • Atlas 推理系列产品：不支持
  • Atlas 训练系列产品：不支持
  • Ascend 950PR/Ascend 950DT：不支持

默认值：

• Atlas 200I/500 A2 推理产品：PipelineExecuteUtilization

• Atlas 推理系列产品：PipeUtilization

• Atlas 训练系列产品：PipeUtilization

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：PipeUtilization

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：PipeUtilization

• Ascend 950PR/Ascend 950DT：PipeUtilization

支持自定义需要采集的寄存器，例如：--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。Custom字段表示自定义类型，配置为具体的寄存器值，范围[0x1, 0x7FFFFFFF]。并非所有的可取值都有对应的PMU寄存器，若配置的值无对应PMU寄存器，则采集结果可能为0。配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。寄存器的值支持十六进制或十进制。

sys-hardware-mem

--sys-hardware-mem=<sys-hardware-mem-value>：可选，片上内存读写速率、QoS传输带宽、LLC三级缓存带宽、加速器带宽、SoC传输带宽、组件内存占用等的采集开关，可选on或off，默认为off。不同型号的采集内容略有差异，请以实际结果为准。

已知在安装有glibc<2.34的环境上采集memory数据，可能触发glibc的一个已知Bug 19329，通过升级环境的glibc版本可解决此问题。

sys-hardware-mem-freq

--sys-hardware-mem-freq=<sys-hardware-mem-freq-value>：可选，--sys-hardware-mem的采集频率，范围[1,100]，默认值为50，单位Hz。

Ascend 950PR/Ascend 950DT，QoS和SoC支持的采集频率最大支持配置10000，其他采集项支持的最大采集频率仍为100，若配置超出范围，其他采集项则按照最大采集频率100进行采集。

设置该参数需要--sys-hardware-mem参数设置为on。

对于以下型号，采集任务结束后，不建议用户增大采集频率，否则可能导致SoC传输带宽数据丢失。

• Atlas 200I/500 A2 推理产品

• Atlas A2 训练系列产品/Atlas A2 推理系列产品

• Atlas A3 训练系列产品/Atlas A3 推理系列产品

l2

--l2=<l2-value>：可选，采集L2 Cache、TLB页表缓存的命中率，可选on或off，默认为off。

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。

ge-api

--ge-api=<ge-api-value>：可选，采集动态Shape算子在Host调度阶段的耗时数据。相关数据生成在msprof_*.json和api_statistic_*.csv文件中。取值：

• off：关闭，默认off。
• l0：采集动态Shape算子在Host调度主要阶段的耗时数据，可更精准统计相关耗时数据。
• l1：采集动态Shape算子在Host调度阶段更细粒度的耗时数据，提供更全面的性能分析数据。

task-memory

--task-memory=<task-memory-value>：可选，CANN算子级内存占用情况采集开关，用于优化内存使用。取值：

• on：开启
• off：关闭，默认为off

图模式单算子场景下，按照GE组件维度和算子维度采集算子内存大小及生命周期信息（单算子API执行场景不采集GE组件内存）；静态图和静态子图场景下，按照算子维度采集算子内存大小及生命周期信息。

task-block

--task-block=<task-block-value>：可选，采集block级别的profiling数据。

仅以下型号支持该参数：

Ascend 950PR/Ascend 950DT：可选on或off，默认值为off。

使用示例

登录运行环境，在任意路径下执行以下命令：

msprof --output=/home/projects/output --ascendcl=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on /home/projects/MyApp/out/main

Ascend EP场景下，在--output指定的目录下生成PROF_XXX目录，存放自动解析后的性能数据，相关结果文件请参见性能数据文件参考。

Ascend RC场景下，在--output指定的目录下生成PROF_XXX目录，该目录下的文件未经解析无法查看，您需要将PROF_XXX目录上传到开发环境进行数据解析，具体操作方法请参见使用msprof命令解析、查询与导出性能数据。

【免费下载链接】oam-tools本项目为开发者提供故障定位工具，包含故障信息收集，软硬件信息展示，AI core error报错分析等能力，提升故障问题定位效率，文档可在昇腾社区搜索“故障处理简介”（选择社区版）。项目地址: https://gitcode.com/cann/oam-tools