基于昇腾MindSpeed-LLM的大模型训练推理

一、 环境搭建

1. NPU驱动与固件安装

• 目的：为昇腾（Ascend）NPU提供底层硬件支持。
• 步骤：
  1. 确认服务器型号：dmidcode -t system | grep -i product
  2. 下载驱动与固件：根据系统和硬件型号，从昇腾社区获取对应版本。
  3. 安装：执行.run安装脚本（需赋予执行权限chmod +x）。
• 验证：
  • 检查安装目录/usr/local/Ascend/下的driver,firmware等。
  • 使用npu-smi -v查看驱动版本。
  • 查看/usr/local/Ascend/version.info和驱动、固件各自的version.info文件。
    

2. CANN（异构计算架构）安装

• 目的：提供AI模型训练和推理的开发套件。
• 步骤：
  1. 根据“版本配套表”选择对应系统架构（aarch64/x86_64）的CANN Toolkit、Kernel和NNAL包。
  2. 参考官方教程安装。
• 验证与配置：
  • 版本：检查/usr/local/Cann/ascend-toolkit/latest/ascend_toolkit_install.info。
  • 环境