曙光超算实战：手把手教你用sbatch脚本在DCU队列上部署训练任务
曙光超算实战：DCU队列sbatch脚本全流程生产级部署指南
当深度学习模型从实验阶段转向生产环境时，超算平台的任务管理能力往往成为瓶颈。许多研究者习惯在交互式终端中直接执行训练命令，却面临网络中断导致任务终止、资源分配不合理、日志管理混乱等问题。本文将基于曙光超算的DCU加速环境，演示如何通过sbatch脚本实现全自动化训练任务部署，这套方法已在多个国家级重点实验室的长期训练任务中得到验证。
1. 生产级sbatch脚本架构设计
一个工业级的sbatch脚本需要同时处理资源调度、环境初始化、错误恢复和监控四大核心需求。与临时测试脚本不同，生产脚本应当具备以下特征：
- 参数显式声明：所有计算资源需求在脚本头部明确定义
- 环境自包含：不依赖交互式终端的手动配置
- 状态可追溯：标准化的日志输出和错误捕获机制
- 资源可监控：内置硬件状态检查点
以下是一个基础模板的结构解析：
#!/bin/bash #SBATCH --job-name=resnet50_train # 任务名称 #SBATCH --partition=hebhdnormal # 队列名称 #SBATCH --nodes=1 # 计算节点数 #SBATCH --gres=dcu:4 # 每节点DCU数量 #SBATCH --ntasks-per-node=32 # 每节点CPU核心数 #SBATCH --output=%x_%j.log # 标准输出日志 #SBATCH --error=%x_%j.err # 错误输出日志 # 环境初始化模块 module purge module load compiler/rocm/dtk-22.10 source /path/to/conda.sh conda activate your_env # 训练执行部分 python train.py --batch-size 128 \ --epochs 100 \ --data-dir ./dataset关键提示：
--gres=dcu参数必须与队列的DCU资源配置匹配，过度申请会导致任务排队时间过长，而申请不足则无法充分利用硬件性能。
2. 高级资源调度策略
曙光超算的DCU队列支持多种精细化的资源控制方式，合理的参数组合可以显著提升任务调度效率：
| 参数 | 典型值 | 作用说明 | 生产环境建议 |
|---|---|---|---|
| --time | 24:00:00 | 最大运行时间 | 设置为预估时间的120% |
| --mem | 100G | 每节点内存 | 配合hy-smi监控调整 |
| --qos | normal | 服务质量等级 | 长期任务使用low优先级 |
| --exclusive | N/A | 独占节点 | 大规模分布式训练时启用 |
对于需要定期执行的训练任务，可以结合CRON实现自动化提交：
# 每天凌晨2点提交新训练任务 0 2 * * * cd /path/to/project && sbatch train.sbatch资源监控方面，建议在脚本中加入定期状态检查：
# 每30分钟记录一次DCU状态 while true; do hy-smi >> gpu_monitor.log sleep 1800 done &3. 环境隔离与依赖管理
超算环境与个人开发环境的主要差异在于软件栈的隔离性。以下是三个必须处理的依赖问题：
Python环境隔离
使用conda创建专属虚拟环境
固定所有依赖版本号
导出环境配置清单：
conda env export > environment.yml pip freeze > requirements.txt
DCU专用软件栈
加载正确的ROCm编译器模块
安装适配DCU的PyTorch版本：
pip install /public/software/apps/DeepLearning/whl/dtk-22.10/pytorch/torch-1.10.0a0+gitc6e7b0e-cp38-cp38-linux_x86_64.whl
数据路径处理
使用绝对路径避免相对路径错误
挂载共享存储时检查文件系统状态：
if [ ! -d "/dataset" ]; then echo "ERROR: Dataset mount missing" >&2 exit 1 fi
4. 训练任务生命周期管理
生产环境的训练任务需要完整的监控和干预能力。我们推荐采用以下工作流程：
任务提交阶段
使用sbatch提交脚本而非直接nohup
获取任务ID用于后续管理：
JOBID=$(sbatch --parsable train.sbatch) echo "Submitted batch job $JOBID"
运行监控阶段
实时查看任务状态：
squeue -j $JOBID动态查看日志输出：
tail -f resnet50_train_${JOBID}.log
异常处理阶段
任务失败自动重试机制：
# 在sbatch脚本中加入错误处理 if [ $? -ne 0 ]; then echo "Training failed, restarting..." >&2 sbatch train.sbatch exit 1 fi手动终止任务：
scancel $JOBID
性能优化阶段
分析DCU利用率：
grep "Utilization" gpu_monitor.log调整batch size等参数平衡吞吐与显存占用
5. 多实验并行管理策略
当需要同时进行多个超参数实验时，可以采用以下两种模式：
模式一：参数化脚本
#!/bin/bash #SBATCH --array=1-10 python train.py --lr $((SLURM_ARRAY_TASK_ID * 0.01)) \ --batch-size 64模式二：动态生成提交
# generate_jobs.py import os for lr in [0.01, 0.05, 0.1]: for bs in [32, 64, 128]: cmd = f"sbatch -J exp_lr{lr}_bs{bs} train.sbatch --lr {lr} --bs {bs}" os.system(cmd)在曙光超算的实际部署中，我们发现DCU集群对大批量小任务的处理效率较低，建议将同类实验合并为数组作业(array job)提交。