从零到一：Ubuntu Server上构建生产级Slurm计算集群

1. 环境准备与系统配置

在开始构建Slurm集群之前，我们需要确保所有节点都处于干净、一致的初始状态。我建议使用Ubuntu Server 22.04 LTS版本，这个长期支持版本经过充分测试，稳定性有保障。实际部署中发现，不同Linux发行版间的软件包差异可能导致各种兼容性问题，因此统一环境非常重要。

首先在所有节点执行系统更新：

sudo apt update && sudo apt upgrade -y sudo apt install -y build-essential git curl

网络规划是集群部署的关键环节。根据我的项目经验，建议采用双网卡方案：一个网卡（如eth0）用于外网通信，另一个网卡（如eth1）专门用于集群内部通信。这种隔离能有效避免计算任务对管理网络的干扰。在/etc/netplan/目录下配置静态IP时，特别注意网关和DNS的设置要正确，否则会导致节点间通信失败。

2. 基础服务部署

2.1 NFS共享存储配置

计算集群通常需要共享存储空间来存放数据和软件。我选择NFS是因为它的简单高效，实测在千兆内网环境下传输速度能达到900Mbps以上。先在控制节点安装NFS服务端：

sudo apt install -y nfs-kernel-server

编辑/etc/exports文件时，建议加上no_root_squash选项以便root用户操作，但要注意这会有安全风险。我在生产环境中会额外配置防火墙规则限制访问：

/software 192.168.1.0/24(rw,sync,no_root_squash)

客户端挂载时遇到过坑：如果NFS版本不匹配会导致挂载失败。强制使用NFSv4可以解决：

sudo mount -t nfs4 192.168.1.1:/software /software

2.2 统一用户认证

Slurm需要所有节点有相同的用户UID/GID。我测试过三种方案：LDAP、NIS和手动同步。对于中小集群，NIS是最简单的选择。先在控制节点安装：

sudo apt install -y nis

关键配置点在/etc/nsswitch.conf，必须确保passwd、shadow、group行包含nis：

passwd: files nis shadow: files nis group: files nis

3. Slurm核心组件安装

3.1 Munge认证服务

Munge是Slurm的认证基础，所有节点必须使用相同的密钥。我遇到过因为文件权限导致服务启动失败的情况，正确的权限设置应该是：

chown -R munge:munge /etc/munge /var/lib/munge /var/log/munge chmod 700 /etc/munge chmod 400 /etc/munge/munge.key

测试Munge是否正常工作：

munge -n | unmunge

3.2 Slurm软件包安装

Ubuntu仓库中的Slurm版本可能较旧。我推荐从源码编译安装最新版：

wget https://download.schedmd.com/slurm/slurm-22.05.9.tar.bz2 tar xjf slurm-22.05.9.tar.bz2 cd slurm-22.05.9 ./configure --prefix=/usr/local make -j8 sudo make install

4. 集群配置与优化

4.1 slurm.conf详解

配置文件是Slurm的核心，我总结了几点关键配置经验：

• ControlMachine必须写主机名而非IP
• SlurmUser建议设为root避免权限问题
• 内存配置要预留5%给系统

典型配置示例：

ClusterName=mycluster ControlMachine=control1 SlurmUser=root NodeName=node[1-7] CPUs=16 RealMemory=64000 PartitionName=compute Nodes=node[1-7] Default=YES

4.2 资源监控与调度

使用sacct命令可以查看作业历史记录。我发现配置AccountingStorageType=accounting_storage/slurmdbd能更好地跟踪资源使用情况：

sacct -j 123 --format=JobID,JobName,AllocCPUS,Elapsed

5. 常见问题排查

部署过程中最常见的三个问题：

1. 节点状态显示为DOWN：检查munge服务和网络连通性
2. 作业卡在PENDING状态：用scontrol show job查看原因
3. 内存不足导致作业失败：调整RealMemory参数

日志查看技巧：

tail -f /var/log/slurmctld.log # 控制节点日志 tail -f /var/log/slurmd.log # 计算节点日志

6. 生产环境建议

经过多个项目实践，我总结了几点生产环境优化建议：

• 配置cgroups限制资源使用
• 设置合理的作业时间限制
• 定期清理/tmp目录
• 使用Prometheus+Granfa监控集群状态

性能调优参数示例：

ProctrackType=proctrack/cgroup TaskPlugin=task/cgroup

最后提醒一点：所有配置变更后，一定要按顺序重启服务：

sudo systemctl restart munge sudo systemctl restart slurmd sudo systemctl restart slurmctld