保姆级教程：在OpenEuler 22.03 LTS-SP4上，用cephadm搞定一个三节点CEPH集群
从零构建高可用CEPH集群：OpenEuler 22.03 LTS-SP4实战指南
在分布式存储领域，CEPH凭借其出色的扩展性和可靠性，已成为企业级存储解决方案的首选。本文将带你在国产操作系统OpenEuler 22.03 LTS-SP4上，用最前沿的cephadm工具部署一个生产级三节点CEPH集群。不同于简单的安装教程，我们会深入每个配置背后的原理，让你真正掌握集群部署的核心要领。
1. 环境准备与系统调优
1.1 硬件规划与系统安装
三节点CEPH集群的最低硬件要求：
- 每节点至少4核CPU
- 8GB内存
- 两块硬盘（系统盘+数据盘）
- 万兆网络环境（千兆网络仅适合测试）
推荐配置方案：
节点类型 CPU 内存 数据盘 网络 ------------------------------------------- ceph01 8核 32GB 4TB SSD 10Gbps ceph02 8核 32GB 4TB SSD 10Gbps ceph03 8核 32GB 4TB SSD 10Gbps从OpenEuler官网获取22.03 LTS-SP4镜像后，使用以下命令验证ISO完整性：
sha256sum openEuler-22.03-LTS-SP4-x86_64-dvd.iso对比输出值与官网提供的校验值，确保下载完整。
1.2 网络与主机配置
三节点网络拓扑应采用全互联架构，避免单点故障。配置静态IP后，按如下方式设置主机名和hosts文件：
所有节点执行：
hostnamectl set-hostname ceph0X.novalocal在ceph01节点编辑/etc/hosts文件：
192.168.18.204 ceph01.novalocal ceph01 192.168.18.191 ceph02.novalocal ceph02 192.168.18.100 ceph03.novalocal ceph03然后同步到其他节点：
scp /etc/hosts ceph02:/etc/ scp /etc/hosts ceph03:/etc/注意：生产环境中建议使用DNS服务器而非hosts文件，便于后期维护
1.3 安全策略调整
CEPH对系统安全策略有特殊要求，需要关闭防火墙和SELinux：
systemctl stop firewalld systemctl disable firewalld sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config setenforce 0为什么需要关闭这些安全机制？
- 防火墙会阻断CEPH节点间的通信端口
- SELinux可能导致容器访问权限问题
- 生产环境中可通过精细配置安全策略替代完全关闭
2. 基础软件栈部署
2.1 配置CEPH软件源
创建/etc/yum.repos.d/ceph.repo文件：
[ceph] name=ceph x86_64 baseurl=https://repo.huaweicloud.com/ceph/rpm-pacific/el8/x86_64 enabled=1 gpgcheck=0 [ceph-noarch] name=ceph noarch baseurl=https://repo.huaweicloud.com/ceph/rpm-pacific/el8/noarch enabled=1 gpgcheck=0更新yum缓存：
yum makecache2.2 时间同步服务
分布式存储对时间同步有严格要求，安装chrony服务：
yum install -y chrony systemctl enable --now chronyd chronyc sources -v理想的时间偏差应小于50ms，可通过以下命令检查：
chronyc tracking2.3 容器引擎安装
CEPH集群使用容器化部署，推荐使用podman：
yum install -y podman lvm2验证安装：
podman --version lvm version3. cephadm工具部署
3.1 获取cephadm
从开源仓库获取适配OpenEuler的cephadm：
git clone https://gitee.com/yftyxa/openeuler-cephadm.git cp openeuler-cephadm/cephadm /usr/bin/ chmod +x /usr/bin/cephadm3.2 初始化集群
在ceph01节点执行引导命令：
cephadm bootstrap --mon-ip 192.168.18.204 --allow-fqdn-hostname成功后会输出管理面板访问信息：
CEPH Dashboard URL: https://ceph01.novalocal:8443 Username: admin Password: xxxxxxxx重要：记录生成的admin密钥路径/etc/ceph/ceph.client.admin.keyring
3.3 集群节点扩展
将其他节点加入集群：
ssh-copy-id -f -i /etc/ceph/ceph.pub ceph02 ssh-copy-id -f -i /etc/ceph/ceph.pub ceph03 ceph orch host add ceph02.novalocal --labels=mon ceph orch host add ceph03.novalocal --labels=mon验证节点状态：
ceph orch host ls4. OSD部署与集群验证
4.1 添加存储设备
列出各节点可用磁盘：
ceph orch device ls为每个节点添加OSD（假设磁盘为/dev/nvme0n1）：
ceph orch daemon add osd ceph01.novalocal:/dev/nvme0n1 ceph orch daemon add osd ceph02.novalocal:/dev/nvme0n1 ceph orch daemon add osd ceph03.novalocal:/dev/nvme0n14.2 集群健康检查
查看详细集群状态：
ceph -s健康状态应为HEALTH_OK，关键指标包括：
- mon: 3个守护进程
- mgr: 1个活跃+1个备用
- osd: 3个全部在线
- 存储池: 至少1个
4.3 Dashboard配置
访问初始输出的Dashboard URL，完成以下操作：
- 使用初始凭据登录
- 立即修改默认密码
- 配置SSL证书（生产环境必须）
- 设置告警通知
5. 生产环境优化建议
5.1 网络分离配置
建议采用双网卡方案：
- 公共网络：处理客户端请求
- 集群网络：内部数据同步
配置方法：
ceph config set global public_network 192.168.18.0/24 ceph config set global cluster_network 10.10.10.0/245.2 存储池配置
创建适合生产环境的存储池：
ceph osd pool create mypool 128 128 ceph osd pool set mypool size 3 ceph osd pool set mypool min_size 2参数说明：
- 128: PG数量（根据集群规模计算）
- size 3: 数据副本数
- min_size 2: 最小可写副本数
5.3 监控与告警
启用Prometheus监控：
ceph mgr module enable prometheus配置关键告警规则：
- OSD下线
- 存储空间不足
- 网络延迟过高
6. 常见问题排查
6.1 节点无法加入集群
检查要点：
- 节点间SSH免密登录是否配置正确
- 防火墙是否完全关闭
- 时间同步是否正常
- /etc/hosts解析是否正确
6.2 OSD启动失败
典型错误处理：
# 查看日志 journalctl -u ceph-osd@<id> # 常见修复命令 ceph-volume lvm zap /dev/sdX ceph orch daemon rm osd.<id>6.3 性能调优
关键参数调整示例：
# 提高网络吞吐 ceph config set global osd_op_num_threads 8 ceph config set global osd_disk_threads 4 # 优化内存使用 ceph config set osd bluestore_cache_size 4G在真实生产环境中，我们曾遇到时钟漂移导致的数据不一致问题，最终通过部署本地NTP服务器解决。这也印证了分布式系统中时间同步的重要性——看似简单的配置，实则关乎系统稳定性。